Những nguyên nhân sai lệch trong quan sát và đánh giá

Về bản chất, sai lệch xuất hiện khi kết quả quan sát hoặc đánh giá bị lệch khỏi đặc điểm thực tế của đối tượng theo một hướng có hệ thống, hoặc khi sai số trong quá trình đo và ghi nhận làm giảm độ tin cậy của kết quả. Không phải mọi khác biệt đều là sai lệch: biến động ngẫu nhiên và sai số có thể xảy ra do nhiều nguyên nhân, trong khi sai lệch đáng chú ý thường liên quan đến cách lựa chọn mẫu, thiết kế phương pháp, tiêu chí đánh giá hoặc hành vi của người quan sát.

Phương pháp quan sát và đánh giá có thể tạo ra sai lệch như thế nào?

Phương pháp là nguồn sai lệch quan trọng vì nó quyết định quan sát cái gì, quan sát bằng cách nào và kết quả được diễn giải theo tiêu chí nào.

Nếu tiêu chí đánh giá không được định nghĩa rõ, người thực hiện có thể hiểu cùng một đặc điểm theo những cách khác nhau. Chẳng hạn, các mô tả như “tốt”, “ổn định”, “tích cực” hoặc “đạt yêu cầu” không đủ cụ thể nếu không đi kèm tiêu chí hoặc ngưỡng xác định. Khi đó, kết quả phụ thuộc nhiều vào phán đoán cá nhân.

Thiết kế quan sát cũng có thể tạo sai lệch nếu chỉ tập trung vào một thời điểm, một nhóm đối tượng hoặc một tình huống đặc biệt. Kết quả thu được khi đó có thể không đại diện cho toàn bộ phạm vi cần đánh giá.

Một vấn đề khác là hiệu ứng của chính phương pháp đo. Việc đưa người quan sát, bảng hỏi, thiết bị hoặc quy trình đánh giá vào tình huống có thể làm thay đổi hành vi của đối tượng. Vì vậy, phương pháp tốt không chỉ cần phù hợp với câu hỏi đánh giá mà còn phải hạn chế ảnh hưởng không cần thiết lên đối tượng.

Khi có thể lượng hóa, nên sử dụng các tiêu chí định lượng thay cho mô tả thuần túy. Với đánh giá giữa nhiều người thực hiện, các chỉ số như Cohen’s kappa hoặc ICC có thể được sử dụng tùy loại dữ liệu để kiểm tra mức độ nhất quán giữa các đánh giá.

Người thực hiện có thể làm kết quả quan sát bị lệch ra sao?

Người quan sát hoặc người đánh giá có thể tạo sai lệch ngay cả khi phương pháp đã được thiết kế tương đối tốt.

Một nguyên nhân phổ biến là kỳ vọng trước khi quan sát. Khi đã hình thành nhận định về đối tượng, người thực hiện có thể vô thức chú ý nhiều hơn đến những dấu hiệu phù hợp với nhận định đó và bỏ qua các dấu hiệu trái ngược. Đây là một dạng sai lệch do nhận thức.

Kinh nghiệm và trình độ cũng ảnh hưởng đến cách nhận diện thông tin. Người có chuyên môn cao có thể phát hiện những dấu hiệu mà người mới chưa nhận ra, nhưng kinh nghiệm cũng có thể tạo thói quen diễn giải nếu không có tiêu chí kiểm soát rõ ràng.

Sai lệch còn xuất hiện khi người đánh giá biết quá nhiều thông tin không cần thiết về đối tượng. Nếu biết trước kết quả, danh tính, nhóm thử nghiệm hoặc kỳ vọng của nghiên cứu, họ có thể vô tình đánh giá theo hướng phù hợp với thông tin đã biết.

Các biện pháp như tiêu chí chấm điểm được chuẩn hóa, đào tạo người đánh giá, sử dụng nhiều người đánh giá và làm mù thông tin không cần thiết có thể giúp giảm tác động này. Khi nhiều người cùng đánh giá, mức độ nhất quán giữa họ cũng nên được kiểm tra thay vì mặc định rằng mọi đánh giá đều tương đương.

Công cụ và cách ghi nhận dữ liệu ảnh hưởng thế nào?

Công cụ quan sát hoặc đo lường là một mắt xích khác có thể tạo sai lệch.

Thiết bị không được hiệu chuẩn, thang đo không phù hợp hoặc cách sử dụng không thống nhất có thể làm kết quả lệch một cách có hệ thống. Với đánh giá định tính, biểu mẫu quá mơ hồ cũng có thể khiến mỗi người ghi nhận một loại thông tin khác nhau.

Sai lệch còn phát sinh từ cách ghi dữ liệu. Nếu người quan sát phải ghi nhớ sự kiện trong thời gian dài rồi mới ghi lại, thông tin có thể bị bỏ sót hoặc biến đổi. Ngược lại, ghi nhận quá nhiều dữ liệu không có cấu trúc có thể khiến việc phân loại và diễn giải trở nên không nhất quán.

Do đó, công cụ cần được kiểm tra về độ chính xác, độ nhất quán và mức độ phù hợp với mục tiêu đánh giá. Khi có thông số kỹ thuật hoặc ngưỡng đo lường, cần sử dụng đúng đơn vị, thang đo và điều kiện áp dụng thay vì chỉ mô tả kết quả là “cao”, “thấp”, “tốt” hoặc “kém”.

Điều kiện quan sát có thể làm thay đổi kết quả

Một kết quả chỉ có ý nghĩa trong những điều kiện mà nó được quan sát hoặc đo lường.

Thời gian, địa điểm, môi trường, ánh sáng, tiếng ồn, nhiệt độ, tải trọng, trạng thái của đối tượng hoặc sự có mặt của người quan sát đều có thể ảnh hưởng đến kết quả tùy lĩnh vực.

Đặc biệt, thời điểm quan sát có thể tạo sai lệch nếu đối tượng biến động theo thời gian. Một lần quan sát đơn lẻ có thể phản ánh trạng thái nhất thời thay vì đặc điểm ổn định. Vì vậy, nếu hiện tượng có tính biến động, cần xác định trước khoảng thời gian, số lần quan sát hoặc điều kiện lặp lại phù hợp.

Điều kiện cũng phải được ghi nhận cùng với kết quả. Nếu hai kết quả được tạo ra trong các điều kiện khác nhau nhưng được so sánh trực tiếp, sự khác biệt có thể bị quy nhầm cho đối tượng thay vì cho môi trường quan sát.

Đối tượng được quan sát có thể làm phát sinh sai lệch

Không phải mọi sai lệch đều bắt nguồn từ người quan sát. Đối tượng cũng có thể thay đổi hành vi khi biết mình đang được quan sát hoặc đánh giá.

Khi nhận thức được mục đích quan sát, đối tượng có thể cố gắng thể hiện theo cách mà họ cho là phù hợp với kỳ vọng. Hành vi trong tình huống được quan sát vì thế có thể khác với hành vi thông thường.

Đặc điểm của mẫu quan sát cũng ảnh hưởng đến khả năng khái quát hóa. Nếu chỉ quan sát một nhóm thuận tiện, một nhóm có đặc điểm đặc biệt hoặc số lượng quá nhỏ, kết quả không nhất thiết đại diện cho toàn bộ quần thể.

Vì vậy, cần phân biệt rõ kết quả quan sát trong mẫu với kết luận áp dụng cho phạm vi rộng hơn. Một kết quả có thể chính xác đối với nhóm được quan sát nhưng vẫn không đủ cơ sở để khẳng định rằng nó đúng với mọi đối tượng.

Tiêu chí và cách diễn giải có thể làm lệch kết quả đánh giá

Ngay cả khi dữ liệu được thu thập chính xác, bước đánh giá vẫn có thể tạo sai lệch.

Sai lệch xuất hiện khi tiêu chí được áp dụng không nhất quán, khi người đánh giá thay đổi ngưỡng giữa các trường hợp hoặc khi một chỉ báo được diễn giải vượt quá khả năng mà dữ liệu cho phép.

Một lỗi thường gặp là đồng nhất tương quan với nguyên nhân. Hai yếu tố cùng thay đổi không có nghĩa một yếu tố chắc chắn gây ra yếu tố còn lại. Tương tự, một kết quả khác biệt giữa hai nhóm không tự động chứng minh rằng phương pháp hoặc điều kiện được nghiên cứu là nguyên nhân duy nhất.

Để hạn chế lỗi diễn giải, mỗi kết luận quan trọng cần được kiểm tra theo ba câu hỏi:

1.    WHY: Vì sao kết luận này đúng?

2.    PROOF: Dữ liệu hoặc bằng chứng nào hỗ trợ?

3.    BOUNDARY: Trong điều kiện nào kết luận có thể không còn đúng?

Nếu không trả lời được các câu hỏi này, mức độ chắc chắn của kết luận cần được hạ xuống tương ứng.

Làm thế nào để giảm sai lệch trong quan sát và đánh giá?

Giảm sai lệch hiệu quả nhất khi kiểm soát đồng thời phương pháp, người thực hiện, công cụ và điều kiện thay vì chỉ tập trung vào một yếu tố.

Một quy trình có thể bao gồm:

·         Xác định rõ đối tượng, mục tiêu và phạm vi quan sát

·         Chuẩn hóa tiêu chí đánh giá trước khi thu thập dữ liệu

·         Quy định rõ điều kiện, thời điểm và cách thức quan sát

·         Sử dụng công cụ đo phù hợp và kiểm tra tình trạng hiệu chuẩn khi cần

·         Đào tạo người thực hiện theo cùng một quy trình

·         Giảm thông tin có thể tạo kỳ vọng hoặc thiên kiến không cần thiết

·         Sử dụng nhiều người đánh giá khi nhận định chủ quan có vai trò lớn

·         Kiểm tra độ nhất quán giữa các đánh giá

·         Ghi nhận đầy đủ điều kiện đi kèm từng kết quả

·         Phân biệt sai số ngẫu nhiên với sai lệch có tính hệ thống

·         Đối chiếu kết quả bằng dữ liệu hoặc phương pháp độc lập khi kết luận có ảnh hưởng lớn

·         Không khái quát kết quả vượt quá phạm vi của mẫu và điều kiện đã quan sát

Điểm quan trọng là không có một biện pháp duy nhất loại bỏ hoàn toàn sai lệch. Một phương pháp có thể giảm thiên kiến của người đánh giá nhưng vẫn còn vấn đề do chọn mẫu; một công cụ có thể cho kết quả nhất quán nhưng vẫn đo sai khái niệm cần đánh giá. Vì vậy, độ tin cậy của kết quả phải được xem xét trên toàn bộ chuỗi thiết kế → quan sát → ghi nhận → đánh giá → diễn giải.

Kết quả quan sát và đánh giá có thể bị sai lệch do nhiều tầng nguyên nhân: phương pháp không phù hợp, tiêu chí không rõ, người thực hiện có thiên kiến, công cụ không chính xác, điều kiện quan sát thay đổi, đối tượng phản ứng với việc được quan sát hoặc dữ liệu bị diễn giải vượt quá phạm vi. Muốn đánh giá đáng tin cậy, cần kiểm soát từng mắt xích và luôn xác định rõ bằng chứng, điều kiện cũng như giới hạn của kết luận.