Công nghệ thu thập dữ liệu hoạt động như thế nào?

Dữ liệu được thu thập từ đâu và bằng cách nào?

Điểm bắt đầu của quá trình là đối tượng cần quan sát. Đó có thể là nhiệt độ, độ ẩm, áp suất, vị trí, tốc độ, dòng điện, mức chất lỏng, độ rung hoặc một sự kiện như cửa mở, máy dừng hay thiết bị vượt ngưỡng

Cảm biến có nhiệm vụ phát hiện hoặc đo đại lượng vật lý rồi tạo ra tín hiệu mà thiết bị đo có thể đọc được. Vì vậy, cảm biến không trực tiếp tạo ra “thông tin có ý nghĩa” theo nghĩa đầy đủ; nó tạo ra tín hiệu đầu vào cho hệ thống thu thập dữ liệu

Ví dụ, một cảm biến nhiệt độ có thể phát hiện sự thay đổi nhiệt và tạo ra tín hiệu điện tương ứng. Bộ phận thu thập sau đó đọc tín hiệu này, chuyển thành giá trị số và gắn thêm thông tin như thời điểm đo hoặc mã thiết bị

Quá trình có thể hình dung như sau:

Hiện tượng thực tế → Cảm biến → Tín hiệu → Giá trị số → Bản ghi dữ liệu

Điểm quan trọng là loại cảm biến quyết định hệ thống có thể quan sát được gì, còn cách lấy mẫu và xử lý quyết định dữ liệu quan sát đó có thể được sử dụng chính xác đến đâu

Tín hiệu cảm biến được chuyển thành dữ liệu số như thế nào?

Tín hiệu từ cảm biến chưa nhất thiết ở dạng mà phần mềm có thể trực tiếp sử dụng. Với tín hiệu tương tự, hệ thống thu thập thường phải thực hiện quá trình chuyển đổi sang dạng số

Một chuỗi điển hình gồm:

Tín hiệu đầu vào → Điều hòa tín hiệu → Lấy mẫu → Chuyển đổi tương tự–số → Giá trị số

Lấy mẫu quyết định dữ liệu được ghi nhận như thế nào

Lấy mẫu nghĩa là đo tín hiệu tại những thời điểm xác định thay vì quan sát liên tục theo đúng nghĩa vật lý

Ví dụ, hệ thống có thể ghi nhiệt độ mỗi 1 giây hoặc độ rung hàng trăm lần mỗi giây. Tần số lấy mẫu phải phù hợp với tốc độ biến đổi của đại lượng cần đo

Nếu lấy mẫu quá thưa, những biến động nhanh có thể bị bỏ qua. Ngược lại, lấy mẫu quá dày có thể tạo ra lượng dữ liệu lớn mà không mang lại thêm nhiều giá trị đối với bài toán cần giải quyết

Độ phân giải ảnh hưởng đến mức chi tiết của dữ liệu

Khi tín hiệu tương tự được chuyển thành số, độ phân giải của bộ chuyển đổi ảnh hưởng đến số mức giá trị mà tín hiệu có thể được biểu diễn

Chẳng hạn, bộ chuyển đổi 12-bit có thể biểu diễn 4.096 mức lượng tử hóa, trong khi 16-bit có 65.536 mức. Tuy nhiên, nhiều bit hơn không tự động đồng nghĩa với phép đo chính xác hơn. Độ chính xác thực tế còn phụ thuộc cảm biến, nhiễu, hiệu chuẩn, mạch đo và điều kiện vận hành

Đây là điểm dễ nhầm lẫn: độ phân giải của dữ liệu số và độ chính xác của phép đo là hai khái niệm khác nhau

Hệ thống xử lý và kiểm tra dữ liệu trước khi truyền ra sao?

Sau khi có giá trị số, hệ thống thường không gửi nguyên trạng mọi dữ liệu vừa thu được. Một lớp xử lý tại thiết bị, gateway hoặc edge có thể thực hiện các thao tác như:

·         Kiểm tra giá trị có nằm trong phạm vi hợp lệ hay không

·         Gắn dấu thời gian và mã định danh thiết bị

·         Chuyển đổi đơn vị

·         Lọc nhiễu hoặc dữ liệu bất thường

·         Tổng hợp nhiều mẫu thành một giá trị

·         Phát hiện sự kiện vượt ngưỡng

·         Loại bỏ hoặc đánh dấu bản ghi lỗi

Ví dụ, nếu cảm biến nhiệt độ của một thiết bị công nghiệp liên tục gửi giá trị 25,1°C, 25,2°C, 25,1°C..., hệ thống có thể xử lý trực tiếp tại thiết bị hoặc gateway thay vì truyền mọi mẫu lên cloud

Ngược lại, với bài toán phát hiện rung động bất thường, việc giữ lại dữ liệu có tần số cao có thể cần thiết vì một giá trị trung bình đơn giản có thể che mất tín hiệu quan trọng

Do đó, xử lý trước khi truyền là bài toán cân bằng giữa lượng dữ liệu, độ trễ, chi phí truyền và thông tin cần bảo toàn

Dữ liệu được truyền từ thiết bị đến hệ thống lưu trữ như thế nào?

Khi dữ liệu đã được chuẩn hóa, hệ thống cần đưa dữ liệu từ nơi thu thập đến nơi xử lý hoặc lưu trữ. Đường truyền có thể sử dụng kết nối có dây hoặc không dây, tùy môi trường triển khai

Một kiến trúc phổ biến là:

Thiết bị thu thập → Gateway → Mạng truyền thông → Edge/Server/Cloud → Hệ thống lưu trữ

Không phải hệ thống nào cũng cần đủ tất cả các tầng. Một thiết bị có thể xử lý và lưu dữ liệu ngay tại chỗ; hệ thống khác có thể gửi dữ liệu trực tiếp lên máy chủ

Giao thức truyền quyết định cách dữ liệu được trao đổi

Trong các hệ thống IoT, MQTT là một ví dụ về giao thức publish/subscribe. Thiết bị có thể publish dữ liệu lên một topic, còn các hệ thống quan tâm sẽ subscribe topic đó để nhận dữ liệu

MQTT định nghĩa ba mức QoS từ 0 đến 2, tương ứng với các mức đảm bảo phân phối thông điệp khác nhau. Điều này cho thấy truyền dữ liệu không chỉ là “gửi được hay không”, mà còn liên quan đến yêu cầu về độ tin cậy và chi phí giao tiếp

Với hệ thống cần bảo vệ dữ liệu khi truyền, lớp bảo mật như TLS có thể được sử dụng để bảo đảm tính bí mật và xác thực kết nối

Dữ liệu được lưu trữ và sử dụng như thế nào sau khi thu thập?

Sau khi đến hệ thống đích, dữ liệu có thể được lưu ở thiết bị cục bộ, máy chủ tại chỗ, edge hoặc cloud. Việc chọn nơi lưu trữ phụ thuộc vào yêu cầu về độ trễ, dung lượng, khả năng kết nối, chi phí và nhu cầu phân tích

Một bản ghi dữ liệu có giá trị thường không chỉ gồm một con số. Nó có thể chứa:

·         Giá trị đo

·         Thời điểm đo

·         Mã thiết bị hoặc nguồn dữ liệu

·         Đơn vị đo

·         Trạng thái hoặc chất lượng bản ghi

·         Thông tin vị trí hoặc ngữ cảnh nếu cần

Ví dụ:

Thiết bị A — 10:30:05 — 72,4°C — trạng thái hợp lệ

Cấu trúc này giúp dữ liệu có thể truy xuất và phân tích về sau thay vì chỉ tồn tại như một con số riêng lẻ

Từ kho dữ liệu, hệ thống có thể tiếp tục thực hiện phân tích, trực quan hóa, phát hiện bất thường hoặc cung cấp dữ liệu cho các ứng dụng khác. Trong kiến trúc IoT hiện đại, xử lý có thể diễn ra ngay trên thiết bị, tại edge hoặc ở cloud tùy yêu cầu của ứng dụng

Điều gì quyết định chất lượng của công nghệ thu thập dữ liệu?

Một hệ thống thu thập dữ liệu tốt không được đánh giá chỉ bằng số lượng dữ liệu thu được. Chất lượng phụ thuộc vào toàn bộ chuỗi từ đo lường đến lưu trữ

Độ chính xác của phép đo

Cảm biến, mạch đo, hiệu chuẩn và môi trường vận hành đều có thể ảnh hưởng đến kết quả. Một hệ thống có thể thu thập hàng triệu bản ghi nhưng vẫn tạo ra dữ liệu kém giá trị nếu nguồn đo không đáng tin cậy

Tần số và phương pháp lấy mẫu

Tần số lấy mẫu phải phù hợp với hiện tượng cần quan sát. Dữ liệu nhiệt độ của một phòng có thể không cần cùng tần số lấy mẫu với tín hiệu rung của động cơ

Độ trễ

Nếu dữ liệu phục vụ cảnh báo hoặc điều khiển gần thời gian thực, việc xử lý quá xa nguồn có thể làm tăng độ trễ. Khi đó, xử lý tại edge có thể phù hợp hơn so với việc luôn gửi toàn bộ dữ liệu lên cloud

Tính toàn vẹn và khả năng truy xuất

Dữ liệu cần có ngữ cảnh đủ để biết nó đến từ đâu, được ghi nhận khi nào và trong điều kiện nào. Nếu thiếu timestamp, mã nguồn hoặc thông tin chất lượng, dữ liệu có thể mất giá trị phân tích dù bản thân giá trị đo vẫn còn

Bảo mật và quyền riêng tư

Dữ liệu thu thập có thể chứa thông tin về con người, thiết bị hoặc quy trình vận hành. Vì vậy, kiểm soát quyền truy cập, xác thực thiết bị và bảo vệ dữ liệu trong quá trình truyền và lưu trữ phải được xem là một phần của kiến trúc thu thập dữ liệu, không phải bước bổ sung sau cùng

Cốt lõi của vấn đề là: dữ liệu chỉ hữu ích khi hệ thống thu thập đúng thứ cần đo, với tần suất phù hợp, giữ được ngữ cảnh và đưa dữ liệu đến nơi cần dùng mà không làm mất tính toàn vẹn của nó

Từ cảm nhận ban đầu đến bản ghi cuối cùng, công nghệ thu thập dữ liệu thực chất là một chuỗi liên tục: đo lường → chuyển đổi → kiểm tra/xử lý → truyền → lưu trữ. Mỗi mắt xích đều có thể làm thay đổi chất lượng của dữ liệu đầu ra. Vì vậy, muốn xây dựng hệ thống thu thập dữ liệu đáng tin cậy, không thể chỉ chọn một cảm biến tốt mà phải thiết kế đồng bộ cả phương pháp lấy mẫu, xử lý, kết nối, lưu trữ và kiểm soát dữ liệu.