Cách xây dựng tiêu chí đánh giá một hiện tượng

Từ ba câu hỏi đó, tiêu chí mới được chuyển thành những dấu hiệu có thể quan sát, kiểm tra hoặc đo lường. Sau cùng, toàn bộ tiêu chí phải được kiểm tra về độ phù hợp, khả năng phân biệt, mức độ chồng lấn và tính khả thi khi áp dụng.

Xác định mục tiêu đánh giá trước khi đặt tiêu chí

Mục tiêu đánh giá quyết định bộ tiêu chí cần tập trung vào điều gì. Cùng một hiện tượng nhưng mục tiêu khác nhau có thể dẫn tới những bộ tiêu chí khác nhau.

Chẳng hạn, một hiện tượng có thể được đánh giá để:

·         Mô tả mức độ thể hiện của hiện tượng

·         Phân loại các trường hợp khác nhau

·         So sánh giữa các đối tượng hoặc thời điểm

·         Xác định mức độ đáp ứng một yêu cầu

·         Hỗ trợ đưa ra kết luận hoặc quyết định

Vì vậy, trước khi viết tiêu chí, cần trả lời ba câu hỏi: đánh giá đối tượng nào, nhằm phục vụ kết luận nào và kết quả đánh giá sẽ được sử dụng ra sao.

Mục tiêu càng rõ, phạm vi tiêu chí càng dễ kiểm soát. Ngược lại, nếu mục tiêu còn mơ hồ, bộ tiêu chí thường có xu hướng gom nhiều đặc điểm có liên quan nhưng không cùng phục vụ một kết luận.

Phân biệt mục tiêu chính và mục tiêu phụ

Mục tiêu chính phải quyết định phần lớn cấu trúc của bộ tiêu chí. Mục tiêu phụ chỉ nên được giữ lại khi nó giúp giải thích hoặc củng cố kết quả của mục tiêu chính.

Điều này giúp tránh tình trạng một bộ tiêu chí vừa muốn mô tả, vừa muốn phân loại, vừa muốn dự đoán, khiến các tiêu chí phục vụ những nhiệm vụ khác nhau bị trộn lẫn.

Xác định những đặc điểm của hiện tượng cần được phản ánh

Sau khi xác định mục tiêu, cần phân tích hiện tượng để tìm ra những đặc điểm có ý nghĩa đối với mục tiêu đó.

Không phải mọi đặc điểm đều nên trở thành tiêu chí. Một đặc điểm chỉ đáng đưa vào bộ tiêu chí khi nó giúp giải thích, phân biệt hoặc đánh giá hiện tượng theo mục tiêu đã đặt ra.

Có thể xem xét đặc điểm theo các câu hỏi:

·         Đặc điểm nào trực tiếp liên quan đến kết quả cần đánh giá?

·         Đặc điểm nào có thể quan sát hoặc xác định được?

·         Đặc điểm nào giúp phân biệt các trường hợp khác nhau?

·         Đặc điểm nào chỉ là biểu hiện phụ và không ảnh hưởng đáng kể đến kết luận?

Điểm quan trọng là phân biệt đặc điểm của hiện tượng với tiêu chí đánh giá. Đặc điểm là cái hiện tượng có; tiêu chí là cách dùng một đặc điểm hoặc một nhóm đặc điểm để đưa ra nhận định theo mục tiêu cụ thể.

Tách đặc điểm cốt lõi khỏi đặc điểm phụ

Nếu một đặc điểm thay đổi nhưng không làm thay đổi kết luận cần đánh giá, đặc điểm đó có thể không cần giữ vai trò trung tâm.

Ngược lại, một đặc điểm có khả năng làm thay đổi cách phân loại hoặc kết luận thì cần được ưu tiên trong bộ tiêu chí.

Cách lọc này giúp bộ tiêu chí phản ánh đúng bản chất hiện tượng thay vì trở thành danh sách mô tả càng dài càng tốt.

Chọn mức độ phân biệt mà bộ tiêu chí cần đạt

Một bộ tiêu chí không chỉ cần trả lời có hay không, mà còn phải phù hợp với mức độ phân biệt mà người đánh giá thực sự cần.

Nếu mục tiêu chỉ là xác định hai trạng thái rõ ràng, tiêu chí quá chi tiết có thể làm tăng độ phức tạp mà không tạo thêm giá trị. Ngược lại, nếu cần phân biệt nhiều mức độ, tiêu chí phải đủ nhạy để nhận ra sự khác biệt giữa các mức đó.

Có thể xác định trước:

·         Cần phân biệt hai nhóm hay nhiều nhóm

·         Cần nhận biết trạng thái hay mức độ

·         Cần phát hiện khác biệt lớn hay cả khác biệt nhỏ

·         Cần kết luận định tính hay cần một mức đo lường cụ thể

Mức độ phân biệt quyết định độ chi tiết của tiêu chí

Mức phân biệt càng cao thì tiêu chí càng phải được định nghĩa rõ về dấu hiệu nhận biết, điều kiện áp dụng và cách xác định mức độ.

Ví dụ, nếu chỉ cần phân biệt “đạt” và “không đạt”, một tiêu chí nhị phân có thể đủ. Nếu cần phân biệt “thấp”, “trung bình” và “cao”, cần bổ sung mô tả hoặc ngưỡng để các mức không bị nhập nhằng.

Vì thế, không có một số lượng tiêu chí cố định cho mọi hiện tượng. Điều quan trọng là bộ tiêu chí phải đủ để tạo ra mức phân biệt mà mục tiêu đánh giá yêu cầu.

Chuyển mục tiêu và đặc điểm thành tiêu chí có thể kiểm tra

Đây là bước biến ý tưởng đánh giá thành một bộ tiêu chí có thể sử dụng trong thực tế.

Một tiêu chí tốt nên trả lời được ít nhất ba vấn đề: đang đánh giá khía cạnh nào, dựa vào dấu hiệu gì và xác định kết quả bằng cách nào.

Có thể xây dựng theo chuỗi:

Mục tiêu đánh giá → Đặc điểm liên quan → Dấu hiệu quan sát được → Điều kiện hoặc ngưỡng xác định → Kết luận

Ví dụ, thay vì viết một tiêu chí quá rộng như “mức độ tốt”, cần xác định “tốt” được biểu hiện qua đặc điểm nào và căn cứ nào để phân biệt tốt với chưa tốt.

Ưu tiên tiêu chí có thể quan sát hoặc đo lường

Khi một đặc điểm có thể chuyển thành chỉ báo, thang đo, ngưỡng hoặc điều kiện kiểm tra, nên ưu tiên cách diễn đạt đó thay cho các từ định tính như “cao”, “thấp”, “tốt”, “yếu” nếu những từ này chưa đủ để tạo ra sự phân biệt nhất quán.

Điều này đặc biệt quan trọng khi nhiều người cùng sử dụng bộ tiêu chí. Một tiêu chí càng ít phụ thuộc vào cảm nhận cá nhân thì kết quả đánh giá càng dễ thống nhất.

Xác định rõ đơn vị và cách áp dụng

Mỗi tiêu chí nên cho biết người đánh giá cần xem xét điều gì, trong điều kiện nào và kết quả được ghi nhận theo cách nào.

Nếu một tiêu chí có thể được diễn giải theo nhiều cách, cần làm rõ phạm vi và cách xác định để hạn chế kết quả phụ thuộc vào người đánh giá.

Kiểm tra độ phù hợp và khả năng phân biệt của toàn bộ bộ tiêu chí

Sau khi xây dựng từng tiêu chí, chưa nên sử dụng ngay. Cần đánh giá lại cả hệ thống để phát hiện tiêu chí thừa, thiếu hoặc chồng lấn.

Một bộ tiêu chí có chất lượng thường phải đáp ứng đồng thời các yêu cầu sau:

·         Phù hợp mục tiêu: Mỗi tiêu chí đều đóng góp vào câu hỏi đánh giá

·         Đủ bao phủ: Những đặc điểm quan trọng cần thiết cho kết luận không bị bỏ sót

·         Không chồng lấn: Hai tiêu chí không nên đo cùng một nội dung theo hai cách gần như giống nhau

·         Có khả năng phân biệt: Tiêu chí phải giúp nhận ra khác biệt thực sự giữa các trường hợp

·         Nhất quán: Cùng một điều kiện thì cách đánh giá phải cho kết quả tương đối ổn định

·         Khả thi: Có thể thu thập thông tin và áp dụng trong điều kiện thực tế

Kiểm tra tiêu chí thừa và tiêu chí thiếu

Một cách kiểm tra đơn giản là đặt từng tiêu chí vào câu hỏi: Nếu bỏ tiêu chí này, khả năng trả lời đúng câu hỏi đánh giá có giảm đáng kể không?

Nếu câu trả lời là không, tiêu chí đó có thể không tạo đủ giá trị.

Ngược lại, nếu có một khác biệt quan trọng mà bộ tiêu chí hiện tại không thể nhận ra, đó là dấu hiệu bộ tiêu chí còn thiếu thành phần cần thiết.

Kiểm tra sự chồng lấn

Hai tiêu chí có thể cùng nói về một đặc điểm nhưng khác cách diễn đạt. Khi đó, số lượng tiêu chí tăng nhưng lượng thông tin mới không tăng tương ứng.

Vì vậy, cần kiểm tra xem mỗi tiêu chí có một nhiệm vụ riêng hay không. Nếu hai tiêu chí dẫn tới cùng một kết luận và dựa trên cùng một dấu hiệu, nên cân nhắc hợp nhất hoặc xác định lại ranh giới giữa chúng.

Xác định trọng số và cách sử dụng kết quả đánh giá

Không phải tiêu chí nào cũng có mức quan trọng như nhau. Sau khi xác định bộ tiêu chí, cần xem xét vai trò tương đối của từng tiêu chí đối với kết luận cuối cùng.

Một tiêu chí có thể là điều kiện bắt buộc, trong khi tiêu chí khác chỉ có tác dụng bổ sung. Nếu xem tất cả tiêu chí có giá trị ngang nhau, kết quả tổng hợp có thể không phản ánh đúng mục tiêu ban đầu.

Có thể lựa chọn một trong các cách:

·         Đánh giá từng tiêu chí độc lập

·         Dùng mức đạt hoặc không đạt cho từng tiêu chí

·         Sử dụng thang mức độ

·         Gán trọng số khi một số tiêu chí quan trọng hơn

·         Kết hợp nhiều tiêu chí để tạo kết luận tổng hợp

Thử bộ tiêu chí trên các trường hợp khác nhau

Trước khi áp dụng chính thức, nên thử trên những trường hợp đại diện và những trường hợp có ranh giới khó phân biệt.

Mục đích là kiểm tra xem:

·         Các tiêu chí có tạo ra kết quả như dự kiến không

·         Hai trường hợp khác nhau có thực sự được phân biệt không

·         Có trường hợp nào không thể đánh giá vì thiếu thông tin không

·         Người đánh giá khác nhau có dễ hiểu tiêu chí theo cùng một cách không

Nếu kết quả thử nghiệm cho thấy một tiêu chí quá rộng, quá mơ hồ hoặc không giúp phân biệt như kỳ vọng, cần điều chỉnh tiêu chí thay vì chỉ bổ sung thêm tiêu chí mới.

Một bộ tiêu chí đánh giá tốt không được quyết định bởi số lượng tiêu chí, mà bởi mức độ phù hợp giữa mục tiêu, đặc điểm của hiện tượng và độ phân biệt cần đạt. Quy trình cốt lõi là xác định mục tiêu, lọc những đặc điểm có giá trị, quyết định mức độ phân biệt, chuyển chúng thành tiêu chí có thể kiểm tra rồi kiểm tra lại độ bao phủ, tính độc lập và khả năng áp dụng.

Khi bộ tiêu chí đã giúp người đánh giá tạo ra những kết luận rõ ràng, nhất quán và đúng với mục tiêu ban đầu, đó mới là dấu hiệu cho thấy hệ thống tiêu chí thực sự có giá trị.