Cách phát hiện giá trị bất thường trong dữ liệu

Trước hết cần nhìn giá trị trong phân bố tổng thể, sau đó dùng các thước đo thống kê để xác định mức độ lệch và cuối cùng đối chiếu với điều kiện đo, dữ liệu lân cận hoặc ngưỡng kỹ thuật. Cách tiếp cận này giúp phân biệt một điểm dữ liệu thực sự bất thường với một biến động hợp lệ.

Giá trị bất thường trong dữ liệu là gì và vì sao cần kiểm tra?

Một giá trị được xem là bất thường khi nó có hành vi khác biệt rõ rệt so với quy luật chung của tập dữ liệu. Sự khác biệt có thể thể hiện qua khoảng cách tới trung tâm phân bố, vị trí trong các phần tư dữ liệu hoặc mức độ lệch so với những quan sát tương tự.

Điểm quan trọng là bất thường về mặt thống kê không đồng nghĩa với sai về mặt đo lường. Ví dụ, một cảm biến có thể ghi nhận một giá trị rất cao trong một thời điểm mà hiện tượng vật lý thực sự xảy ra. Nếu loại bỏ điểm này chỉ vì nó nằm xa phần lớn dữ liệu, kết quả phân tích có thể mất đi thông tin quan trọng.

Do đó, mục tiêu của việc phát hiện giá trị bất thường không chỉ là tìm ra các điểm khác biệt mà còn là trả lời ba câu hỏi:

·         Giá trị đó có thực sự khác biệt so với phân bố chung không

·         Sự khác biệt có thể được giải thích bởi điều kiện đo hoặc hiện tượng thực tế không

·         Có đủ cơ sở để giữ lại, kiểm tra thêm hoặc loại bỏ giá trị đó không

Quan sát phân bố để nhận biết điểm dữ liệu khác thường

Phân bố là lớp thông tin đầu tiên cần kiểm tra vì nó cho biết các giá trị tập trung ở đâu và biến thiên như thế nào. Một điểm nằm ở vùng rất thưa của phân bố đáng được chú ý hơn một điểm nằm trong vùng dữ liệu tập trung.

Có thể quan sát phân bố bằng bảng tần số, histogram, biểu đồ hộp hoặc các thống kê mô tả như trung bình, trung vị, độ lệch chuẩn và các phần tư.

Đặc biệt, trung vị và các phần tư hữu ích khi dữ liệu bị lệch hoặc có một số giá trị cực đoan. Nếu dữ liệu tập trung thành một vùng nhưng xuất hiện một vài điểm nằm rất xa vùng đó, đây là dấu hiệu cần kiểm tra tiếp chứ chưa phải bằng chứng rằng các điểm đó là lỗi.

Với dữ liệu đo theo thời gian, cần quan sát thêm thứ tự xuất hiện. Một giá trị bất thường chỉ xuất hiện tại một thời điểm có ý nghĩa khác với một chuỗi giá trị liên tiếp cùng lệch theo một hướng. Trường hợp thứ hai có thể liên quan đến thay đổi điều kiện vận hành hoặc sự dịch chuyển của thiết bị đo.

Dùng IQR và Z-score để định lượng mức độ bất thường

Sau khi quan sát phân bố, có thể sử dụng các chỉ số thống kê để định lượng mức độ lệch.

Phương pháp IQR

IQR là khoảng tứ phân vị:

IQR = Q3 − Q1

Trong đó Q1 là tứ phân vị thứ nhất và Q3 là tứ phân vị thứ ba. Một quy tắc thường dùng để đánh dấu điểm có khả năng là ngoại lệ là:

Giá trị < Q1 − 1,5 × IQR

hoặc

Giá trị > Q3 1,5 × IQR

Các điểm vượt qua hai giới hạn này được xem là ứng viên bất thường theo quy tắc IQR. Quy tắc này đặc biệt hữu ích khi dữ liệu không có phân bố chuẩn hoặc có độ lệch đáng kể.

Phương pháp Z-score

Z-score cho biết một quan sát cách trung bình bao nhiêu độ lệch chuẩn:

Z = (x − μ) / σ

Trong đó x là giá trị quan sát, μ là trung bình và σ là độ lệch chuẩn.

Không nên áp dụng một ngưỡng Z-score máy móc cho mọi bộ dữ liệu. Phương pháp này nhạy với chính các giá trị cực đoan vì trung bình và độ lệch chuẩn có thể bị chúng kéo lệch.

So sánh với dữ liệu lân cận và điều kiện đo

Một giá trị chỉ có ý nghĩa khi đặt trong đúng bối cảnh đo. Vì vậy, sau khi phát hiện một điểm đáng chú ý bằng phương pháp thống kê, cần so sánh nó với những quan sát có cùng điều kiện.

Với dữ liệu theo thời gian, có thể kiểm tra:

·         Giá trị trước và sau thời điểm bất thường

·         Xu hướng của chuỗi đo

·         Mức thay đổi giữa hai lần đo liên tiếp

·         Các biến đo khác trong cùng thời điểm

·         Thời điểm bảo trì, hiệu chuẩn hoặc thay đổi điều kiện vận hành

Nếu nhiều cảm biến hoặc biến liên quan cùng thay đổi tại một thời điểm, điểm dữ liệu cực đoan có thể phản ánh một sự kiện thực tế. Ngược lại, nếu chỉ một thiết bị xuất hiện giá trị khác biệt trong khi các phép đo liên quan không thay đổi, cần xem xét khả năng lỗi đo hoặc lỗi ghi nhận.

Với dữ liệu không theo thời gian, việc so sánh nên dựa trên các nhóm có điều kiện tương đồng thay vì so sánh một cách tùy tiện với toàn bộ tập dữ liệu.

Phân biệt giá trị bất thường với lỗi đo

Đây là bước quan trọng nhất trước khi quyết định xử lý dữ liệu. Một giá trị có thể bất thường theo thống kê nhưng vẫn hợp lệ về mặt thực tế.

Có thể xem xét theo chuỗi nguyên nhân sau:

Giá trị bất thường → kiểm tra phân bố → kiểm tra điều kiện đo → đối chiếu dữ liệu liên quan → quyết định xử lý

Nếu có bằng chứng cho thấy thiết bị đo sai, dữ liệu bị nhập nhầm hoặc quá trình thu thập gặp sự cố, giá trị đó có cơ sở để được đánh dấu là lỗi.

Nếu không có bằng chứng về lỗi và giá trị phù hợp với một hiện tượng thực tế, không nên tự động loại bỏ nó. Khi đó, giá trị có thể được giữ lại nhưng cần được đánh dấu để các bước phân tích tiếp theo biết rằng đây là một quan sát cực đoan.

Cách phân loại này cũng giúp tránh hai sai lầm đối lập: giữ nguyên mọi giá trị bất kể chất lượng dữ liệu, hoặc loại bỏ mọi giá trị nằm ngoài khoảng thông thường.

Chọn cách xử lý dựa trên mức độ và nguyên nhân bất thường

Sau khi xác định một giá trị bất thường, bước tiếp theo không phải lúc nào cũng là xóa dữ liệu. Cách xử lý phụ thuộc vào nguyên nhân và mục đích phân tích.

Nếu đó là lỗi nhập liệu hoặc lỗi đo đã được xác nhận, có thể sửa bằng dữ liệu gốc đáng tin cậy hoặc loại bỏ theo quy trình kiểm soát chất lượng.

Nếu giá trị là một quan sát hợp lệ nhưng cực đoan, nên giữ lại và xem xét ảnh hưởng của nó đến kết quả phân tích. Trong một số trường hợp có thể sử dụng các phương pháp thống kê ít nhạy với ngoại lệ, chẳng hạn trung vị hoặc các thước đo dựa trên phần tư.

Nếu chưa xác định được nguyên nhân, nên đánh dấu và điều tra thêm thay vì kết luận ngay. Việc lưu lại trạng thái xử lý của từng điểm dữ liệu cũng giúp quá trình phân tích có thể kiểm tra và truy nguyên sau này.

Tóm lại, cách phát hiện giá trị bất thường trong dữ liệu hiệu quả nhất là kết hợp phân bố, chỉ số thống kê và bối cảnh đo. IQR hoặc Z-score có thể giúp tìm ra những điểm đáng chú ý, nhưng quyết định cuối cùng cần dựa trên điều kiện thu thập và bằng chứng về nguyên nhân. Một giá trị khác biệt chỉ nên bị loại bỏ khi có cơ sở cho thấy nó không đại diện cho hiện tượng cần đo.