Cách xây dựng tiêu chí quan sát khoa học

Cách xây dựng hợp lý là đi từ mục tiêu cần đánh giá → xác định khía cạnh cần quan sát → chuyển khái niệm thành hành vi có thể nhận biết → đặt điều kiện hoặc ngưỡng đo → thử nghiệm và hiệu chỉnh để người quan sát khác nhau có thể hiểu và chấm tương đối thống nhất.

Xác định đúng mục tiêu trước khi xây dựng tiêu chí

Tiêu chí quan sát chỉ có ý nghĩa khi nó phục vụ một mục tiêu cụ thể. Cần xác định trước muốn đánh giá điều gì, đối tượng nào và kết quả quan sát sẽ được dùng để làm gì.

Ví dụ, mục tiêu “đánh giá khả năng tổ chức hoạt động học tập” còn quá rộng để biến ngay thành một tiêu chí. Từ mục tiêu này cần xác định khía cạnh quan trọng hơn, chẳng hạn cách giao nhiệm vụ, cách theo dõi tiến độ hoặc cách phản hồi cho người học.

Mục tiêu càng rõ thì tiêu chí càng ít bị lệch sang những biểu hiện không liên quan. Ngược lại, nếu mục tiêu chưa rõ, người quan sát rất dễ ghi nhận những ấn tượng chung thay vì dữ liệu phục vụ đúng câu hỏi đánh giá.

Vì vậy, bước đầu tiên có thể đặt dưới dạng:

Mục tiêu đánh giá → Khía cạnh cần quan sát → Biểu hiện cần ghi nhận

Đây là nền tảng để tránh tình trạng tiêu chí có vẻ cụ thể nhưng thực tế lại không đo đúng điều cần đo.

Chuyển khái niệm trừu tượng thành hành vi quan sát được

Một trong những bước quan trọng nhất là chuyển các khái niệm trừu tượng thành biểu hiện có thể nhìn thấy hoặc ghi nhận trực tiếp.

Chẳng hạn:

·         “Giao tiếp tốt” là một khái niệm rộng

·         “Đặt câu hỏi mở và chờ người học trả lời trước khi chuyển sang câu hỏi khác” là biểu hiện có thể quan sát

·         “Quản lý lớp học hiệu quả” vẫn còn chung

·         “Nhắc lại quy tắc trước hoạt động và can thiệp khi hành vi lệch khỏi quy tắc” cụ thể hơn

Nguyên tắc là tiêu chí nên trả lời được câu hỏi: Người quan sát thực sự sẽ nhìn thấy hoặc nghe thấy điều gì?

Một biểu hiện càng phụ thuộc vào cảm nhận cá nhân, tiêu chí càng khó tạo ra dữ liệu nhất quán. Các hướng dẫn về thiết kế công cụ quan sát cũng nhấn mạnh rằng mô tả nên tập trung vào hành vi khách quan, có thể quan sát thay vì những đánh giá mở như “thực hiện tốt”.

Vì vậy, khi viết tiêu chí, nên ưu tiên các động từ chỉ hành động như:

·         Nêu

·         Đặt

·         Hỏi

·         Ghi nhận

·         Phản hồi

·         Kiểm tra

·         Thực hiện

·         Hoàn thành

·         So sánh

·         Điều chỉnh

Hạn chế dùng đơn độc các từ như “tốt”, “cao”, “tích cực”, “hiệu quả”, “chuyên nghiệp” nếu chưa quy định chúng được nhận biết bằng biểu hiện nào.

Làm cho tiêu chí cụ thể và có thể đo lường

Một tiêu chí tốt không chỉ cho biết có hay không có hành vi, mà khi cần còn phải cho biết mức độ hoặc tần suất của hành vi đó.

Có thể lượng hóa theo nhiều cách:

Theo tần suất: số lần xuất hiện trong một khoảng quan sát

Theo tỷ lệ: số trường hợp đạt trên tổng số trường hợp cần quan sát

Theo thời lượng: thời gian dành cho một hoạt động hoặc hành vi

Theo mức độ: các mức được mô tả bằng biểu hiện cụ thể, chẳng hạn từ chưa đạt đến đạt đầy đủ

Theo điều kiện: hành vi phải xuất hiện trong một tình huống xác định mới được tính là đạt

Ví dụ, tiêu chí “phản hồi kịp thời” chưa đủ rõ. Một phiên bản có thể đo được hơn là: “Phản hồi cho người học trong cùng lượt hoạt động khi phát hiện lỗi cần điều chỉnh”.

Điểm quan trọng không phải là mọi tiêu chí đều phải biến thành một con số. Điều quan trọng là cách xác định đạt hay không đạt phải đủ rõ để hai người quan sát cùng một tình huống không phải dựa chủ yếu vào cảm tính. Trong các công cụ đánh giá dựa trên quan sát, độ tin cậy giữa các quan sát viên là một vấn đề cốt lõi; mô tả thang đo càng rõ thì việc chấm càng nhất quán hơn.

Gắn tiêu chí với điều kiện và ngưỡng đánh giá

Một hành vi có thể xuất hiện nhưng chưa chắc đã đáp ứng mục tiêu. Vì vậy, tiêu chí cần quy định khi nào biểu hiện được xem là đạt.

Có thể xây dựng theo cấu trúc:

Hành vi Điều kiện Mức đạt

Ví dụ, thay vì viết:

“Người dạy kiểm tra mức độ hiểu bài”

có thể cụ thể hóa thành:

“Người dạy sử dụng câu hỏi hoặc nhiệm vụ kiểm tra trong quá trình hoạt động và điều chỉnh cách hướng dẫn khi phát hiện người học chưa đạt yêu cầu”

Cấu trúc này làm rõ ba yếu tố: hành động phải diễn ra, diễn ra trong bối cảnh nào và biểu hiện nào cho thấy việc thực hiện đã đáp ứng mục tiêu.

Đối với tiêu chí theo thang mức, mỗi mức cũng nên có mô tả riêng. Chẳng hạn:

·         Mức 1: Không xuất hiện biểu hiện cần quan sát

·         Mức 2: Có xuất hiện nhưng chưa ổn định hoặc chưa đáp ứng đầy đủ điều kiện

·         Mức 3: Xuất hiện đúng điều kiện và đáp ứng yêu cầu

·         Mức 4: Xuất hiện ổn định, phù hợp và có điều chỉnh theo tình huống

Điều quan trọng là các mức phải được phân biệt bằng biểu hiện quan sát được, không chỉ bằng những từ như “khá”, “tốt” hay “rất tốt”.

Kiểm tra tính nhất quán giữa người quan sát

Một tiêu chí chỉ thực sự hữu ích khi nó tạo ra dữ liệu tương đối ổn định giữa những người sử dụng khác nhau.

Sau khi xây dựng bộ tiêu chí, nên cho nhiều người quan sát cùng xem hoặc chấm một số tình huống giống nhau rồi đối chiếu kết quả. Nếu cách đánh giá chênh lệch lớn, nguyên nhân thường nằm ở một trong các điểm:

·         Tiêu chí còn quá chung

·         Một mức đánh giá có nhiều cách hiểu

·         Điều kiện áp dụng chưa được quy định

·         Người quan sát thiếu hướng dẫn hoặc ví dụ chuẩn

·         Có quá nhiều suy luận chủ quan

Các tài liệu hướng dẫn thiết kế công cụ đo lường khuyến nghị kiểm tra độ nhất quán giữa các đánh giá viên và xem xét lại mô tả thang đo khi xuất hiện bất đồng đáng kể.

Do đó, xây dựng tiêu chí không nên kết thúc ở lúc viết xong câu chữ. Cần có vòng:

Soạn tiêu chí → Quan sát thử → So sánh cách chấm → Xác định điểm chưa rõ → Hiệu chỉnh → Quan sát lại

Phân biệt tiêu chí quan sát với nhận xét định tính

Một lỗi phổ biến là dùng nhận xét thay cho tiêu chí.

Ví dụ:

·         “Người học tham gia rất tích cực”

·         “Hoạt động được tổ chức hiệu quả”

·         “Người dạy có kỹ năng tốt”

Những câu này có thể dùng trong phần nhận xét tổng hợp, nhưng chưa phải tiêu chí quan sát đủ chặt chẽ.

Một tiêu chí tốt phải cho biết căn cứ nào dẫn đến nhận xét đó. Chẳng hạn, “tham gia tích cực” có thể được cụ thể hóa bằng số lượt phát biểu, mức độ hoàn thành nhiệm vụ hoặc tỷ lệ người học tham gia trong một hoạt động, tùy mục tiêu đánh giá.

Nguyên tắc thực hành là:

Không quan sát cái tên của phẩm chất; quan sát những biểu hiện tạo nên phẩm chất đó.

Cũng không nên cố lượng hóa những khía cạnh mà con số không mang thêm giá trị. Chỉ số được chọn phải phù hợp với bản chất của hành vi và mục tiêu đánh giá.

Một quy trình xây dựng tiêu chí quan sát có thể áp dụng

Có thể triển khai theo trình tự sau:

Bước 1: Xác định mục tiêu quan sát

Nêu rõ cần đánh giá điều gì và dữ liệu sẽ được sử dụng cho mục đích nào

Bước 2: Xác định khía cạnh cần quan sát

Tách mục tiêu rộng thành những thành phần cụ thể có thể ghi nhận

Bước 3: Xác định biểu hiện quan sát được

Chuyển mỗi khía cạnh thành hành vi, sự kiện hoặc dấu hiệu có thể nhìn thấy, nghe thấy hoặc ghi nhận

Bước 4: Quy định cách đo

Chọn cách ghi nhận phù hợp như tần suất, tỷ lệ, thời lượng, mức độ hoặc điều kiện đạt

Bước 5: Xây dựng mô tả mức độ

Nếu dùng thang điểm, mô tả từng mức bằng biểu hiện cụ thể và phân biệt được giữa các mức

Bước 6: Xây dựng hướng dẫn quan sát

Quy định thời điểm, khoảng thời gian, bối cảnh và cách ghi dữ liệu để hạn chế khác biệt do cách sử dụng

Bước 7: Quan sát thử và hiệu chỉnh

Cho nhiều người sử dụng cùng một bộ tiêu chí, đối chiếu kết quả và sửa những tiêu chí còn gây cách hiểu khác nhau

Một công cụ quan sát tốt vì thế không chỉ có danh sách tiêu chí, mà còn cần cách áp dụng đủ rõ để dữ liệu thu được có thể sử dụng nhất quán.

Tiêu chí quan sát tốt cần đạt những điều kiện nào?

Một tiêu chí quan sát được xây dựng khoa học thường có thể kiểm tra qua các câu hỏi sau:

·         Có bám trực tiếp vào mục tiêu đánh giá không?

·         Có mô tả hành vi hoặc biểu hiện quan sát được không?

·         Người quan sát có biết chính xác cần tìm kiếm điều gì không?

·         Có điều kiện hoặc bối cảnh áp dụng rõ ràng không?

·         Có cách ghi nhận hoặc đo lường phù hợp không?

·         Nếu dùng thang mức, các mức có khác nhau bằng biểu hiện thực tế không?

·         Hai người quan sát có khả năng đưa ra đánh giá tương đối giống nhau không?

·         Tiêu chí có tránh những nhận xét chung chung như “tốt”, “hiệu quả”, “tích cực” khi chưa có căn cứ cụ thể không?

Nếu một tiêu chí không trả lời được những câu hỏi này, vấn đề thường không nằm ở câu chữ đẹp hay chưa đẹp mà nằm ở độ rõ của đối tượng đo và cách ghi nhận bằng chứng.

Một cách ngắn gọn, có thể xem cấu trúc của tiêu chí quan sát là:

Mục tiêu → Khía cạnh → Hành vi quan sát được → Điều kiện → Cách đo → Mức đạt → Kiểm tra độ nhất quán

Đây là logic giúp tiêu chí vừa cụ thể, vừa đo được, đồng thời vẫn bám sát điều thực sự cần đánh giá.

Tiêu chí quan sát càng tốt khi người quan sát càng ít phải “đoán” ý của người xây dựng. Khi nhìn vào cùng một tình huống, họ phải có đủ căn cứ để nhận biết biểu hiện nào được tính, trong điều kiện nào được tính và mức nào được xem là đạt.