Thay đổi quy trình khoa học ảnh hưởng kết quả thế nào?

Mức độ ảnh hưởng phụ thuộc vào phần nào của quy trình bị thay đổi. Một thay đổi nhỏ ở cách ghi nhận dữ liệu có thể chủ yếu ảnh hưởng khả năng so sánh, trong khi thay đổi về lấy mẫu, điều kiện môi trường, thiết bị, hiệu chuẩn hoặc cách xử lý mẫu có thể tạo ra sai lệch có hệ thống.

Vì vậy, khi đánh giá hai kết quả khoa học, câu hỏi quan trọng không chỉ là “kết quả có khác nhau không?” mà còn là “quy trình tạo ra hai kết quả đó có còn tương đương hay không?”.

Vì sao thay đổi quy trình có thể làm kết quả khác đi?

Kết quả thực nghiệm thường phụ thuộc vào cả đối tượng được nghiên cứu và cách đối tượng đó được đo, xử lý hoặc quan sát. Khi quy trình thay đổi, một hoặc nhiều yếu tố kiểm soát có thể thay đổi theo.

Ví dụ, cùng một loại mẫu nhưng được lấy ở thời điểm khác, bảo quản khác, xử lý khác hoặc đo bằng thiết bị chưa được hiệu chuẩn tương đương có thể cho các giá trị khác nhau. Chênh lệch đó không nhất thiết phản ánh thay đổi thật của mẫu.

Có hai cơ chế cần phân biệt. Thay đổi quy trình có thể làm tăng độ biến thiên ngẫu nhiên, khiến kết quả dao động rộng hơn giữa các lần lặp. Nó cũng có thể tạo sai lệch có hệ thống, khiến các kết quả mới liên tục lệch theo một hướng nhất định.

Điểm quan trọng là cùng một quy trình thay đổi có thể tác động đồng thời đến cả hai. Khi đó, việc chỉ nhìn vào giá trị trung bình hoặc một kết quả đơn lẻ sẽ không đủ để xác định nguyên nhân của chênh lệch.

Những thay đổi nào ảnh hưởng mạnh đến tính nhất quán?

Không phải mọi thay đổi trong quy trình đều có mức ảnh hưởng như nhau. Những thay đổi tác động trực tiếp đến nguồn biến thiên của phép đo thường đáng chú ý nhất.

Lấy mẫu có thể làm thay đổi thành phần hoặc tính đại diện của dữ liệu đầu vào. Nếu vị trí lấy mẫu, thời điểm lấy mẫu, kích thước mẫu hoặc tiêu chí chọn mẫu thay đổi, hai nhóm dữ liệu có thể không còn cùng nền tảng so sánh.

Điều kiện thực nghiệm như nhiệt độ, thời gian, áp suất, độ ẩm hoặc điều kiện môi trường có thể ảnh hưởng trực tiếp đến quá trình đang được quan sát. Một kết quả khác biệt vì điều kiện thực nghiệm thay đổi không thể được diễn giải giống như một thay đổi do chính đối tượng nghiên cứu.

Thiết bị và hiệu chuẩn cũng là nguồn sai khác quan trọng. Hai thiết bị có cùng đơn vị đo vẫn có thể cho kết quả khác nhau nếu độ chính xác, độ phân giải, tình trạng hiệu chuẩn hoặc cách vận hành khác nhau.

Xử lý và phân tích dữ liệu là một lớp khác. Việc thay đổi quy tắc loại ngoại lệ, cách tính trung bình, phương pháp làm trơn, tiêu chí loại dữ liệu hoặc mô hình phân tích có thể làm thay đổi kết quả ngay cả khi dữ liệu ban đầu không đổi.

Vì thế, câu “cùng một thí nghiệm” chỉ có ý nghĩa khi những thành phần quy trình quyết định kết quả được duy trì đủ tương đương.

Thay đổi quy trình làm giảm khả năng so sánh kết quả ra sao?

Khả năng so sánh phụ thuộc vào việc các kết quả có được tạo ra trong những điều kiện đủ tương đồng hay không. Khi quy trình thay đổi, biến “quy trình” trở thành một yếu tố mới có thể giải thích chênh lệch.

Giả sử lần thứ nhất sử dụng một phương pháp xử lý mẫu và lần thứ hai sử dụng phương pháp khác. Nếu kết quả thay đổi, chưa thể kết luận rằng đối tượng nghiên cứu đã thay đổi. Có ít nhất hai khả năng: đối tượng thực sự thay đổi hoặc phương pháp đo đã tạo ra chênh lệch.

Điều này tạo ra một vấn đề về khả năng quy nguyên nhân. Khi nhiều yếu tố thay đổi cùng lúc, rất khó xác định yếu tố nào chịu trách nhiệm cho kết quả quan sát được.

Mức độ chắc chắn của so sánh vì thế giảm đi. Hai giá trị số có thể trông rất dễ đối chiếu, nhưng nếu chúng được tạo ra từ những quy trình khác nhau thì khoảng cách giữa hai con số chưa chắc mang cùng ý nghĩa khoa học.

Một phép so sánh đáng tin cậy cần kiểm soát những yếu tố quan trọng hoặc chứng minh rằng thay đổi quy trình không tạo ra ảnh hưởng đáng kể đến đại lượng đang đo.

Khi nào thay đổi quy trình tạo ra sai lệch thay vì chỉ tăng biến thiên?

Điểm khác biệt quan trọng là ngẫu nhiên và có hệ thống.

Nếu thay đổi quy trình chủ yếu làm tăng biến thiên ngẫu nhiên, các kết quả có thể phân tán rộng hơn nhưng không nhất thiết lệch theo một hướng cố định. Khi đó, độ lặp lại suy giảm và cần nhiều phép đo hoặc kiểm soát tốt hơn để ước lượng giá trị trung tâm.

Nếu thay đổi tạo ra sai lệch có hệ thống, toàn bộ kết quả có thể dịch chuyển theo một hướng. Trường hợp này nguy hiểm hơn khi so sánh giữa các giai đoạn, vì một thay đổi về quy trình có thể bị hiểu nhầm là một thay đổi thật của đối tượng.

Ví dụ, nếu một bước xử lý mới làm mất một phần thành phần cần đo, kết quả sau khi thay quy trình có thể thấp hơn một cách có hệ thống. Việc lặp lại nhiều lần không tự động loại bỏ sai lệch này, bởi một nguồn sai lệch giống nhau vẫn được đưa vào mọi lần đo.

Do đó, việc đánh giá một quy trình không nên chỉ dựa vào độ dao động của kết quả. Cần xem cả độ chính xác, độ lệch, điều kiện thực hiện và mối liên hệ giữa từng bước quy trình với đại lượng được đo.

Có thể thay đổi quy trình mà vẫn so sánh được kết quả không?

Có thể, nhưng không nên mặc định rằng hai bộ kết quả vẫn tương đương chỉ vì cùng đo một đại lượng.

Một thay đổi quy trình có thể chấp nhận được khi ảnh hưởng của nó được đánh giá, kiểm soát và chứng minh là đủ nhỏ đối với mục tiêu nghiên cứu. Trong một số trường hợp, phương pháp mới còn có thể được kiểm chứng song song với phương pháp cũ để xác định mức độ tương đồng hoặc sai khác.

Các điều kiện cần xem xét gồm phạm vi thay đổi, đại lượng nào bị tác động, mức sai khác quan sát được, độ không đảm bảo đo và mục tiêu sử dụng kết quả.

Nếu mục tiêu là theo dõi xu hướng theo thời gian, việc duy trì cùng một quy trình thường đặc biệt quan trọng. Nếu mục tiêu là chuyển sang một phương pháp mới, cần có bước đánh giá phương pháp để biết chuỗi dữ liệu trước và sau thay đổi có thể nối tiếp trực tiếp hay phải coi là hai hệ đo khác nhau.

Một điểm giới hạn khác là thay đổi quy trình không nhất thiết luôn làm kết quả kém hơn. Phương pháp mới có thể chính xác hơn hoặc giảm một nguồn sai số. Vấn đề nằm ở chỗ phải xác định được sự khác biệt đến từ đối tượng hay đến từ phương pháp trước khi diễn giải kết quả.

Làm gì để hạn chế ảnh hưởng khi cần thay đổi quy trình?

Cách an toàn nhất là coi thay đổi quy trình như một biến cần được kiểm soát, thay vì chỉ xem đó là một thay đổi vận hành.

Trước khi thay đổi, cần xác định chính xác bước nào sẽ được sửa và bước đó có liên quan trực tiếp đến kết quả hay không. Sau đó cần ghi lại phiên bản quy trình, điều kiện thực hiện, thiết bị, cách hiệu chuẩn và phương pháp xử lý dữ liệu để hai bộ kết quả có thể được truy nguyên.

Nếu điều kiện cho phép, nên thực hiện các phép đo chồng lấn giữa quy trình cũ và quy trình mới trên cùng hoặc các mẫu tương đương. Cách này giúp đánh giá chênh lệch do phương pháp trước khi sử dụng dữ liệu mới để so sánh với dữ liệu lịch sử.

Khi đã có thay đổi, không nên gộp dữ liệu cũ và mới thành một chuỗi liên tục mà không kiểm tra tính tương thích. Nếu có bằng chứng cho thấy quy trình tạo ra một mức dịch chuyển đáng kể, cần đánh dấu thời điểm thay đổi và xử lý hai giai đoạn theo cách phù hợp với mục tiêu phân tích.

Một quy trình được kiểm soát tốt không có nghĩa là không bao giờ được thay đổi. Điều quan trọng là mọi thay đổi có tác động đến kết quả phải được nhận diện, ghi nhận và đánh giá trước khi diễn giải dữ liệu.

Thay đổi quy trình khoa học có thể ảnh hưởng đến kết quả thông qua việc thay đổi điều kiện tạo dữ liệu, làm tăng biến thiên hoặc tạo sai lệch có hệ thống. Hệ quả trực tiếp là tính nhất quán, khả năng so sánh và khả năng quy kết nguyên nhân của kết quả có thể suy giảm.

Vì vậy, cùng một đại lượng được đo ở hai thời điểm chưa đủ để kết luận rằng hai kết quả hoàn toàn so sánh được. Cần xem xét mức độ tương đương của lấy mẫu, điều kiện thực nghiệm, thiết bị, hiệu chuẩn, xử lý dữ liệu và các bước khác có thể tác động đến kết quả. Khi phải thay đổi quy trình, kiểm chứng chuyển đổi và duy trì khả năng truy nguyên là nền tảng để bảo vệ chất lượng của chuỗi dữ liệu.