Các chỉ số đánh giá: chúng đo được gì và không đo được gì

Các chỉ số về công bố và trích dẫn xuất hiện ngày càng nhiều — trong hồ sơ, trong đánh giá, trong xếp hạng.

Chúng tiện vì gọn thành một con số. Nhưng mỗi chỉ số chỉ đo một khía cạnh, và dùng ngoài phạm vi đó thì cho kết luận sai.

Bài này không nêu ngưỡng cụ thể — yêu cầu của hồ sơ theo quy định hiện hành, hãy tra cứu văn bản. Bài này nói về cách hiểu và cách dùng chỉ số cho đúng.

Ba nhóm chỉ số

• Chỉ số về nơi công bố — đo mức độ được trích dẫn trung bình của một tạp chí. Đây là đặc tính của tạp chí, không phải của bài đăng trong đó.
• Chỉ số về bài — số lần một bài cụ thể được trích dẫn.
• Chỉ số về người — tổng hợp từ số bài và số trích dẫn của một tác giả.

Giới hạn quan trọng nhất

Chỉ số của tạp chí không nói gì về một bài cụ thể trong đó.

Trong bất kỳ tạp chí nào, số trích dẫn giữa các bài chênh nhau rất lớn — một số bài được trích nhiều, phần lớn ít hơn nhiều so với mức trung bình. Vì vậy suy từ chỉ số tạp chí ra chất lượng của một bài là suy luận sai về mặt logic.

Đây là nhầm lẫn phổ biến nhất trong toàn bộ chủ đề này.

Các giới hạn khác

• Không so sánh được giữa các ngành. Thói quen trích dẫn khác nhau rất nhiều — ngành có cộng đồng lớn và công bố nhanh sẽ có mọi chỉ số cao hơn ngành có cộng đồng nhỏ. So chỉ số giữa hai ngành khác nhau là so hai thứ khác đơn vị.
• Phụ thuộc vào thời gian. Bài mới chưa kịp được trích dẫn; người làm nghề lâu năm tự nhiên có số tích luỹ cao hơn.
• Trích dẫn không phân biệt khen chê. Một công trình bị phản bác nhiều cũng được trích nhiều.
• Không phản ánh đóng góp thực tế của từng tác giả trong công trình nhiều người.
• Bỏ sót phần lớn công việc học thuật — giảng dạy, hướng dẫn, xây dựng chương trình, phản biện, phục vụ cộng đồng.
• Nghiên cứu ứng dụng và nghiên cứu bằng ngôn ngữ bản địa thường bị đo thấp dù có giá trị thực tiễn cao.

Vì sao chỉ số bị lạm dụng

• Đọc một con số dễ hơn đọc công trình.
• Nó cho cảm giác khách quan — trong khi lựa chọn dùng chỉ số nào đã là một phán đoán.
• Nó tiện cho việc xếp hạng và so sánh, kể cả khi việc so sánh đó không có nghĩa.

Hệ quả là hiện tượng đã nêu ở bài về áp lực: khi chỉ số thành mục tiêu, người ta tối ưu cho chỉ số thay vì cho nghiên cứu.

Dùng chỉ số cho đúng

• Dùng nhiều chỉ số cùng lúc, không dựa vào một con số.
• Chỉ so trong cùng ngành và cùng giai đoạn sự nghiệp.
• Dùng để định hướng, rồi đọc công trình để kết luận.
• Xem cả sự phân bố, không chỉ tổng — một người có nhiều công trình được dùng khác với người có một công trình nổi bật.
• Kết hợp với các thông tin không đo được — học viên đã đào tạo, đóng góp cho ngành, ảnh hưởng thực tiễn.

Với hồ sơ của bạn

• Yêu cầu cụ thể theo quy định hiện hành — tra cứu và bám theo đó, không suy đoán.
• Kiểm tra thông tin của bạn trên các hệ thống có chính xác không — trùng tên, thiếu bài, gán nhầm là chuyện thường gặp.
• Đăng ký mã định danh nhà nghiên cứu để công trình được gán đúng.
• Chuẩn bị giải thích bối cảnh — nếu ngành của bạn có đặc thù về thói quen trích dẫn, nêu rõ.
• Đừng chọn nơi đăng chỉ theo chỉ số — bài đăng đúng nơi người trong lĩnh vực đọc sẽ được dùng thật, và đó mới là điều có ý nghĩa lâu dài.

Khi đọc các bảng xếp hạng

• Xem tiêu chí và trọng số — kết quả phụ thuộc hoàn toàn vào lựa chọn này.
• Xem nguồn dữ liệu và phạm vi bao phủ của nó.
• Cẩn thận với các bảng xếp hạng không nêu rõ phương pháp.
• Nhớ rằng thứ hạng không nói gì về chất lượng của một chương trình cụ thể mà bạn quan tâm.

Một điều đáng nhớ

Chỉ số ra đời để mô tả hoạt động khoa học, không phải để thay thế việc đánh giá nó.

Vì vậy phép thử đơn giản khi gặp một con số: nó đang đo cái gì, và cái đó có phải điều tôi thật sự muốn biết không?

Câu hỏi thường gặp