Những sai lầm khi thực hiện phương pháp khoa học

Một phương pháp khoa học chỉ có thể tạo ra kết luận đáng tin cậy khi câu hỏi nghiên cứu đủ rõ để chuyển thành giả thuyết và kiểm tra bằng quan sát hoặc thí nghiệm. Sai lầm ngay từ bước này thường khiến các bước phía sau thiếu định hướng.

Một câu hỏi quá rộng như “Điều gì ảnh hưởng đến sức khỏe con người?” chưa chỉ rõ biến nào cần nghiên cứu, ở đối tượng nào và bằng cách nào có thể kiểm chứng. Ngược lại, câu hỏi như “Mức độ tiếp xúc với yếu tố X có liên quan đến chỉ số Y ở nhóm đối tượng Z trong điều kiện xác định hay không?” tạo cơ sở rõ hơn cho việc thiết kế nghiên cứu.

Sai lầm thường gặp gồm:

·         Đặt câu hỏi nhưng không xác định được biến cần quan sát hoặc đo lường

·         Đưa nhiều vấn đề khác nhau vào cùng một nghiên cứu

·         Xây dựng giả thuyết quá mơ hồ để có thể bác bỏ hoặc ủng hộ bằng dữ liệu

·         Bắt đầu thu thập dữ liệu trước khi xác định rõ câu hỏi và tiêu chí đánh giá

Điểm quan trọng là câu hỏi nghiên cứu phải quyết định cách thu thập dữ liệu, thay vì thu thập một lượng lớn dữ liệu rồi mới tìm câu hỏi phù hợp.

Thiết kế nghiên cứu không kiểm soát được các yếu tố gây nhiễu

Sau khi xác định câu hỏi, một sai lầm nghiêm trọng khác là thiết kế nghiên cứu không cho phép phân biệt nguyên nhân đang được nghiên cứu với các yếu tố khác.

Giả sử muốn kiểm tra liệu một yếu tố X có làm thay đổi kết quả Y hay không. Nếu đồng thời có một yếu tố Z thay đổi cùng X và cũng có khả năng ảnh hưởng đến Y, kết quả quan sát được có thể không xuất phát từ X. Z khi đó là một yếu tố gây nhiễu.

Cơ chế sai lệch có thể hình dung như sau:

X thay đổi → Y thay đổi

nhưng thực tế có thể là:

X thay đổi → Z thay đổi → Y thay đổi

hoặc:

Z đồng thời ảnh hưởng đến X và Y

Nếu thiết kế nghiên cứu không kiểm soát được Z, việc kết luận X gây ra thay đổi ở Y có thể vượt quá những gì dữ liệu chứng minh.

Các biện pháp kiểm soát phụ thuộc vào loại nghiên cứu, nhưng có thể bao gồm:

·         Nhóm đối chứng

·         Phân bổ ngẫu nhiên

·         Làm mù khi phù hợp

·         Giữ ổn định các điều kiện liên quan

·         Đo và điều chỉnh các biến gây nhiễu trong phân tích

Không phải nghiên cứu nào cũng có thể loại bỏ hoàn toàn mọi yếu tố gây nhiễu. Vì vậy, giới hạn của thiết kế phải được nhận diện trước khi diễn giải kết quả.

Đo lường không phù hợp và thu thập dữ liệu thiếu kiểm soát

Một nghiên cứu có thể có câu hỏi tốt nhưng vẫn cho kết quả yếu nếu cách đo không phản ánh đúng đại lượng cần nghiên cứu.

Ví dụ, nếu muốn đánh giá một khái niệm nhưng lại sử dụng một chỉ số chỉ phản ánh một phần rất nhỏ của khái niệm đó, dữ liệu thu được có thể không đủ để trả lời câu hỏi ban đầu. Đây là vấn đề về vận hành hóa biến: khái niệm lý thuyết phải được chuyển thành biến có thể quan sát hoặc đo lường một cách nhất quán.

Sai sót cũng có thể xuất hiện trong chính quá trình thu thập dữ liệu:

·         Công cụ đo không được hiệu chuẩn hoặc kiểm tra phù hợp

·         Quy trình đo thay đổi giữa các đối tượng hoặc các lần đo

·         Người thu thập dữ liệu biết kết quả kỳ vọng và vô tình ảnh hưởng đến phép đo

·         Dữ liệu bị thiếu nhưng không ghi nhận nguyên nhân

·         Tiêu chí đưa vào hoặc loại khỏi mẫu không được áp dụng nhất quán

·         Ghi chép dữ liệu không đầy đủ hoặc không thể truy nguyên

Hai loại sai số cần phân biệt là sai số ngẫu nhiên và sai số hệ thống. Sai số ngẫu nhiên làm kết quả dao động giữa các lần đo, trong khi sai số hệ thống có thể đẩy kết quả theo một hướng nhất định. Sai số hệ thống đặc biệt đáng lo vì tăng số lượng quan sát không nhất thiết loại bỏ được nó.

Vì vậy, chất lượng dữ liệu phụ thuộc không chỉ vào số lượng mẫu mà còn vào độ phù hợp, tính nhất quán và độ tin cậy của phép đo.

Chọn mẫu hoặc cỡ mẫu không phù hợp với câu hỏi nghiên cứu

Dữ liệu thu thập từ một nhóm đối tượng chỉ có thể hỗ trợ kết luận trong phạm vi mà mẫu nghiên cứu đại diện hoặc phù hợp với mục tiêu nghiên cứu.

Một sai lầm phổ biến là chọn mẫu vì dễ tiếp cận thay vì dựa trên thiết kế nghiên cứu. Chẳng hạn, kết quả từ một nhóm người tình nguyện không nhất thiết có thể khái quát cho toàn bộ quần thể mà nghiên cứu muốn nói đến.

Cỡ mẫu cũng cần được xem xét trước khi thu thập dữ liệu. Mẫu quá nhỏ có thể làm giảm khả năng phát hiện một hiệu ứng thực sự và khiến ước lượng thiếu chính xác. Ngược lại, mẫu rất lớn không tự động biến một thiết kế sai thành một nghiên cứu tốt.

Khi đánh giá mẫu, cần xem xét:

·         Quần thể mục tiêu là ai

·         Mẫu được tuyển chọn bằng cách nào

·         Tiêu chí đưa vào và loại trừ là gì

·         Mẫu có thể bị thiên lệch chọn mẫu ở đâu

·         Cỡ mẫu có phù hợp với thiết kế và mục tiêu phân tích hay không

·         Kết quả có thể được khái quát đến phạm vi nào

Một nguyên tắc quan trọng là không được đánh đồng “nhiều dữ liệu” với “dữ liệu có tính đại diện”.

Phân tích dữ liệu bị chi phối bởi kỳ vọng hoặc lựa chọn sau khi thấy kết quả

Ngay cả khi thu thập dữ liệu đúng, quá trình phân tích vẫn có thể tạo ra sai lệch nếu nhà nghiên cứu thay đổi cách xử lý dựa trên kết quả đã quan sát.

Một biểu hiện thường gặp là thử nhiều cách phân tích rồi chỉ báo cáo cách cho kết quả phù hợp với giả thuyết. Khi có đủ nhiều phép kiểm định hoặc nhiều lựa chọn phân tích, khả năng xuất hiện một kết quả “có ý nghĩa” chỉ do ngẫu nhiên cũng tăng lên.

Các vấn đề tương tự có thể xảy ra khi:

·         Chỉ chọn biến hoặc nhóm dữ liệu cho kết quả thuận lợi

·         Loại bỏ quan sát sau khi biết chúng làm thay đổi kết luận mà không có tiêu chí định trước

·         Thay đổi giả thuyết sau khi đã nhìn thấy dữ liệu nhưng trình bày như thể giả thuyết đó được đặt ra từ đầu

·         Nhầm tương quan với quan hệ nhân quả

·         Chỉ chú ý đến kết quả có ý nghĩa thống kê mà bỏ qua độ lớn hiệu ứng và độ bất định

·         Diễn giải kết quả vượt quá phạm vi mà thiết kế nghiên cứu cho phép

Cách giảm rủi ro là xác định trước giả thuyết, biến chính, tiêu chí phân tích và phương pháp xử lý dữ liệu khi phù hợp; đồng thời báo cáo minh bạch những lựa chọn và thay đổi phát sinh trong quá trình nghiên cứu.

Đặc biệt, một kết quả có ý nghĩa thống kê không tự nó chứng minh rằng giả thuyết khoa học là đúng hoặc rằng một biến gây ra biến còn lại.

Diễn giải kết quả vượt quá bằng chứng và bỏ qua khả năng tái lập

Sai lầm cuối cùng nằm ở bước kết luận. Dữ liệu chỉ hỗ trợ một kết luận trong phạm vi của thiết kế, phép đo, mẫu nghiên cứu và phương pháp phân tích đã sử dụng.

Nếu nghiên cứu quan sát cho thấy hai biến có liên hệ, không nên tự động kết luận một biến gây ra biến kia khi thiết kế chưa đủ cơ sở xác lập quan hệ nhân quả.

Một kết luận khoa học tốt cần trả lời được:

·         Kết quả thực sự cho thấy điều gì

·         Cơ chế nào có thể giải thích kết quả

·         Bằng chứng mạnh đến mức nào

·         Những điều kiện nào giới hạn kết luận

·         Có khả năng tồn tại cách giải thích khác hay không

·         Kết quả có thể áp dụng cho nhóm hoặc điều kiện nào

·         Những nghiên cứu tiếp theo cần kiểm tra điều gì

Khả năng tái lập và kiểm chứng cũng rất quan trọng. Một nghiên cứu khó tái hiện vì thiếu quy trình, dữ liệu, tiêu chí phân tích hoặc thông tin phương pháp sẽ khó được đánh giá độc lập.

Do đó, thay vì viết kết luận theo hướng tuyệt đối, nên gắn kết luận với đúng phạm vi bằng chứng. Ví dụ, “kết quả cho thấy X có liên quan đến Y trong nhóm nghiên cứu này” thận trọng hơn “X gây ra Y” nếu thiết kế chưa đủ để xác lập quan hệ nhân quả.

Phương pháp khoa học không chỉ là một chuỗi bước từ giả thuyết đến kết luận. Độ tin cậy của kết quả phụ thuộc vào sự liên kết giữa câu hỏi nghiên cứu, thiết kế, đo lường, mẫu, dữ liệu, phân tích và cách diễn giải. Một sai lầm ở bước đầu có thể lan sang toàn bộ quy trình; vì vậy, kiểm soát sai lệch ngay từ khâu thiết kế thường có giá trị hơn việc cố gắng sửa chữa một kết luận sau khi dữ liệu đã được thu thập.