Phân tích dữ liệu quan sát để đánh giá như thế nào?

Điểm quan trọng là không nên đồng nhất một con số quan sát được với một kết luận đánh giá. Chẳng hạn, một giá trị trung bình chỉ cho biết mức điển hình của tập dữ liệu; để nói giá trị đó là cao, thấp, đạt hay không đạt, còn cần tiêu chí tham chiếu và bối cảnh phù hợp.

Dữ liệu quan sát cần được chuẩn hóa trước khi đánh giá

Trước khi phân tích, cần xác định dữ liệu đang đo cái gì, được thu thập trong điều kiện nào và có đủ chất lượng để sử dụng hay không.

Các bước cơ bản gồm:

1.    Xác định biến quan sát: Làm rõ tên biến, đơn vị đo và ý nghĩa của từng giá trị

2.    Kiểm tra phạm vi dữ liệu: Xem xét khoảng giá trị, thời gian, nhóm đối tượng và điều kiện quan sát

3.    Phát hiện dữ liệu thiếu hoặc bất thường: Xác định giá trị trống, sai định dạng, giá trị ngoại lệ hoặc trường hợp không phù hợp với quy tắc thu thập

4.    Bảo đảm tính nhất quán: Các phép đo phải sử dụng cùng định nghĩa, đơn vị và quy ước trước khi được tổng hợp

Bước này quyết định chất lượng của các bước sau. Nếu hai nhóm dữ liệu được thu thập theo điều kiện khác nhau nhưng được gộp như thể chúng tương đương, kết quả tổng hợp có thể tạo ra một nhận định sai dù phép tính hoàn toàn chính xác.

Tổng hợp dữ liệu giúp chuyển nhiều quan sát thành thông tin có cấu trúc

Sau khi dữ liệu được kiểm tra, các quan sát riêng lẻ được tổng hợp để nhận diện mức độ, xu hướng và sự phân bố.

Tùy mục tiêu đánh giá, có thể sử dụng:

·         Số lượng quan sát: Cho biết quy mô dữ liệu được sử dụng

·         Tỷ lệ: Cho biết một nhóm chiếm bao nhiêu phần trong tổng thể

·         Giá trị trung bình: Phản ánh mức điển hình khi dữ liệu phù hợp với việc sử dụng trung bình

·         Trung vị: Hữu ích khi dữ liệu có phân bố lệch hoặc có một số giá trị rất lớn hoặc rất nhỏ

·         Khoảng biến thiên: Cho biết mức chênh lệch giữa các giá trị quan sát

·         Độ phân tán: Cho biết các quan sát tập trung hay dao động quanh giá trị trung tâm

·         Xu hướng theo thời gian: Cho biết chỉ số tăng, giảm hay biến động trong các giai đoạn

Tổng hợp không đồng nghĩa với lấy một con số duy nhất để đại diện cho toàn bộ dữ liệu. Một giá trị trung bình có thể che khuất sự khác biệt giữa các nhóm, còn một tỷ lệ tổng thể có thể không cho thấy nhóm nào đang tạo ra phần lớn kết quả.

Vì vậy, chỉ số tổng hợp cần được đọc cùng với quy mô mẫu, phân bố và điều kiện quan sát.

So sánh là bước biến số liệu thành cơ sở đánh giá

Một dữ liệu quan sát thường chưa thể trả lời câu hỏi “tốt hay chưa”, “cao hay thấp”, “đạt hay không đạt” nếu thiếu một chuẩn tham chiếu.

Có thể thực hiện các dạng so sánh khác nhau:

·         So sánh với ngưỡng: Kiểm tra giá trị có đạt mức yêu cầu hay không

·         So sánh giữa các nhóm: Xác định nhóm nào có kết quả khác biệt

·         So sánh theo thời gian: Xác định mức thay đổi giữa các kỳ

·         So sánh với mức cơ sở: Đánh giá mức cải thiện hoặc suy giảm so với trạng thái ban đầu

·         So sánh với benchmark: Đặt kết quả quan sát cạnh một mức tham chiếu phù hợp để xác định vị trí tương đối

Có thể biểu diễn mức thay đổi tương đối bằng:

Mức thay đổi (%) = (Giá trị sau − Giá trị trước) / Giá trị trước × 100

Tuy nhiên, chênh lệch về số học chưa tự động có nghĩa là chênh lệch có ý nghĩa trong đánh giá. Cần xem xét quy mô chênh lệch, độ biến động của dữ liệu, điều kiện quan sát và tiêu chí mà đánh giá đang sử dụng.

Từ kết quả so sánh đến nhận định cần có điều kiện và bằng chứng

Đây là bước quan trọng nhất trong phân tích dữ liệu quan sát. Kết quả tính toán cần được diễn giải thành một nhận định nhưng không được vượt quá những gì dữ liệu cho phép kết luận.

Một chuỗi lập luận chặt chẽ thường có dạng:

Dữ liệu quan sát → Chỉ số tổng hợp → So sánh với tham chiếu → Diễn giải → Nhận định

Ví dụ, nếu một chỉ số tăng so với kỳ trước, có thể kết luận rằng chỉ số đã tăng trong khoảng thời gian được quan sát. Nhưng chưa thể từ đó kết luận nguyên nhân chắc chắn là một yếu tố cụ thể nếu dữ liệu chưa kiểm soát được các yếu tố khác.

Do đó, mỗi nhận định quan trọng nên trả lời được ba câu hỏi:

·         Why: Vì sao dữ liệu dẫn tới nhận định này?

·         Proof: Giá trị, phép so sánh hoặc bằng chứng nào hỗ trợ nhận định?

·         Boundary: Trong điều kiện nào nhận định này không còn đúng?

Cách tiếp cận này giúp phân biệt giữa mô tả dữ liệu và đánh giá dựa trên dữ liệu. Mô tả nói “giá trị A cao hơn B”; đánh giá cần nói thêm “cao hơn theo tiêu chí nào, trong điều kiện nào và mức chênh lệch có ý nghĩa gì”.

Kết quả đánh giá phải phản ánh cả mức độ và giới hạn của dữ liệu

Một kết quả đánh giá đáng tin cậy không chỉ có kết luận cuối cùng mà còn cho biết phạm vi mà kết luận đó áp dụng.

Có bốn lớp cần kiểm tra:

Điều kiện quan sát

Kết quả được tạo ra trong thời gian, nhóm đối tượng hoặc môi trường nào? Nếu điều kiện thay đổi, khả năng áp dụng kết quả cũng có thể thay đổi.

Độ biến động

Hai tập dữ liệu có cùng giá trị trung bình nhưng mức phân tán rất khác nhau có thể dẫn đến cách đánh giá khác nhau. Vì vậy, không nên chỉ nhìn vào giá trị trung tâm.

Ngoại lệ

Một số quan sát đặc biệt có thể ảnh hưởng đáng kể đến kết quả tổng hợp. Cần xác định chúng là lỗi dữ liệu, trường hợp thực tế cần giữ lại hay tình huống cần phân tích riêng.

Khả năng suy rộng

Dữ liệu quan sát mô tả những gì đã được ghi nhận trong phạm vi nghiên cứu. Muốn suy rộng sang nhóm hoặc điều kiện khác cần có cơ sở phù hợp; không nên biến một kết quả trong mẫu quan sát thành kết luận tuyệt đối cho mọi trường hợp.

Có thể đưa ra kết quả đánh giá bằng một chuỗi tiêu chí rõ ràng

Để giảm tính chủ quan, kết quả cuối cùng nên được liên kết trực tiếp với tiêu chí đánh giá.

Một quy trình thực tế có thể triển khai như sau:

1.    Xác định câu hỏi đánh giá: Cần đánh giá đối tượng ở khía cạnh nào

2.    Chọn biến quan sát: Xác định dữ liệu nào thực sự trả lời câu hỏi

3.    Kiểm tra chất lượng dữ liệu: Loại hoặc xử lý các trường hợp không đáp ứng điều kiện sử dụng

4.    Tổng hợp: Tạo các chỉ số phù hợp với bản chất dữ liệu

5.    So sánh: Đặt kết quả cạnh baseline, nhóm khác, thời điểm khác hoặc benchmark phù hợp

6.    Kiểm tra điều kiện: Xem xét độ biến động, ngoại lệ và bối cảnh

7.    Đưa ra nhận định: Kết luận đúng mức mà dữ liệu và bằng chứng cho phép

8.    Ghi rõ giới hạn: Nêu điều kiện hoặc phạm vi mà kết quả không nên được áp dụng ngoài đó

Theo cách này, “kết quả đánh giá” không phải là một con số được lấy trực tiếp từ dữ liệu quan sát. Nó là kết luận được hình thành sau khi dữ liệu đã được kiểm tra, tổng hợp, đặt vào quan hệ so sánh và diễn giải theo một tiêu chí cụ thể.

Khi phân tích dữ liệu quan sát, cần tách rõ ba tầng: dữ liệu ghi nhận, kết quả phân tích và nhận định đánh giá. Tổng hợp giúp nhìn thấy đặc điểm của tập dữ liệu; so sánh giúp xác định vị trí hoặc mức thay đổi; còn điều kiện, bằng chứng và giới hạn quyết định mức độ mà nhận định có thể được tin cậy. Vì vậy, một kết quả đánh giá tốt không chỉ trả lời “kết quả là bao nhiêu” mà còn phải chỉ ra so với cái gì, trong điều kiện nào, vì sao có thể kết luận như vậy và giới hạn nằm ở đâu.