Data annotation là gì? Gán nhãn dữ liệu và nghề annotator
Data annotation là việc gắn nhãn cho dữ liệu thô để AI học được. Bài giải thích các loại nhãn, quy trình, đo chất lượng, công cụ, nghề data annotator và bảo mật.
Chuyên mục Dữ liệu và phân tích dành cho phần nền móng của mọi dự án AI và báo cáo quản trị: dữ liệu lớn (big data), kho dữ liệu (data warehouse), hồ dữ liệu (data lake), khoa học dữ liệu, gán nhãn dữ liệu (data annotation) và DataOps. Các bài so sánh kiến trúc lưu trữ, mô tả quy trình thu thập, làm sạch, gán nhãn và quản trị dữ liệu, kèm nguyên tắc “garbage in, garbage out”: dữ liệu đầu vào kém thì mô hình và báo cáo đầu ra cũng kém, dù thuật toán tốt đến đâu.
Data annotation là việc gắn nhãn cho dữ liệu thô để AI học được. Bài giải thích các loại nhãn, quy trình, đo chất lượng, công cụ, nghề data annotator và bảo mật.
Big data là dữ liệu quá lớn, quá nhanh hoặc quá đa dạng để công cụ thông thường xử lý. Bài giải thích 5V, kiến trúc, công nghệ, ứng dụng và pháp lý tại Việt Nam.
DataOps là cách vận hành dữ liệu theo tinh thần DevOps: tự động hoá, kiểm thử, giám sát pipeline. Bài giải thích nguồn gốc, quy trình, công cụ và lộ trình áp dụng.
Garbage in, garbage out: dữ liệu đầu vào kém thì kết quả kém. Bài giải thích nguồn gốc cụm từ, các dạng dữ liệu rác, tác hại của nhãn sai với AI và cách phòng tránh.
Database phục vụ giao dịch hằng ngày, data warehouse phục vụ phân tích trên dữ liệu lịch sử từ nhiều nguồn. Bài so sánh cơ chế, bảng tiêu chí và cách chọn.
Data warehouse lưu dữ liệu đã mô hình hoá để báo cáo ổn định. Data lake lưu dữ liệu thô để khám phá và AI. Bài so sánh theo 10 tiêu chí và cách chọn.
CDP (Customer Data Platform) gom dữ liệu khách hàng từ nhiều kênh về một hồ sơ duy nhất rồi đưa sang marketing, bán hàng, chăm sóc. Cách hoạt động, các loại và khi nào nên dùng.
Data quality (chất lượng dữ liệu) là mức độ dữ liệu đáp ứng đúng mục đích sử dụng. Bài này giải thích 6 chiều, cách đo, ví dụ tại Việt Nam và cách chọn việc xử lý trước.
Predictive analytics (phân tích dự đoán) dùng dữ liệu lịch sử và mô hình thống kê, machine learning để ước tính khả năng xảy ra trong tương lai. Cơ chế, ví dụ, giới hạn.
Real-time data (dữ liệu thời gian thực) là dữ liệu được xử lý và dùng ngay khi phát sinh. Bài này giải thích độ trễ, cơ chế streaming, ví dụ ở Việt Nam và khi nào bạn cần.