Dữ liệu lớn có những đặc điểm gì

Mục lục

1. 5V đến từ đâu và có phải mô hình cố định không?
2. Bảng tóm tắt: mỗi chữ V trả lời câu hỏi gì?
3. Volume: dữ liệu bao nhiêu thì gọi là lớn?
4. Velocity: nhanh đến mức nào thì cần xử lý luồng?
5. Variety: dữ liệu đa dạng gây khó ở chỗ nào?
6. Veracity: làm sao biết dữ liệu có đáng tin?
7. Value: dữ liệu lớn có giá trị khi nào?
8. Tự chấm điểm 5V cho dữ liệu của doanh nghiệp bạn
9. Ví dụ minh hoạ: 5V trong một nhà máy và một chuỗi bán lẻ
10. Những hiểu lầm thường gặp khi dùng 5V
11. Khi nào 5V chưa phải việc cần lo?
12. Câu hỏi thường gặp

Khi tìm “dữ liệu lớn có những đặc điểm gì”, phần lớn bài viết chỉ liệt kê năm từ tiếng Anh rồi dừng lại. Bài này đi theo hướng khác: mỗi chữ V đi kèm câu hỏi để bạn kiểm tra, thước đo cụ thể và ví dụ có tình huống. Cuối bài là cách chấm điểm 5V cho dữ liệu của chính doanh nghiệp bạn. Nếu bạn cần khái niệm tổng quan, công nghệ và ứng dụng, hãy đọc bài big data là gì. Bài này tập trung vào đặc điểm và cách vận dụng.

5V đến từ đâu và có phải mô hình cố định không?

Ba chữ V đầu tiên xuất phát từ nghiên cứu của Doug Laney năm 2001 về quản lý dữ liệu ba chiều: khối lượng, tốc độ và sự đa dạng. Nghiên cứu đó có tên 3-D Data Management: Controlling Data Volume, Velocity and Variety. Lúc đó chưa có ai gọi nó là “big data”. Veracity và Value được thêm vào sau này. Lý do là các dự án thực tế cho thấy dữ liệu bẩn thì phân tích cũng vô nghĩa, và dữ liệu chỉ đáng đầu tư khi tạo ra kết quả kinh doanh cụ thể.

5V không phải tiêu chuẩn kỹ thuật có ngưỡng chính thức. Không tổ chức nào quy định “trên bao nhiêu terabyte thì là dữ liệu lớn”. Một số tài liệu còn mở rộng thành 6V hoặc 7V, thêm Variability (tính biến đổi) và Visualization (tính trực quan). Vì vậy hãy xem 5V là bộ câu hỏi chẩn đoán, không phải bài thi đạt/trượt.

Bảng tóm tắt: mỗi chữ V trả lời câu hỏi gì?

Bảng dưới gom mỗi chữ V thành một câu hỏi kiểm tra và một thước đo bạn có thể lấy ngay từ hệ thống. Các phần sau đi sâu từng dòng.

Chữ V	Câu hỏi kiểm tra	Thước đo thực tế	Dấu hiệu “quá sức”
Volume	Một máy chủ có còn xử lý nổi không?	Dung lượng tăng mỗi ngày, số bản ghi, thời gian chạy báo cáo	Báo cáo cuối tháng chạy qua đêm vẫn chưa xong
Velocity	Quyết định cần dữ liệu sau bao lâu?	Số sự kiện mỗi giây, độ trễ từ lúc phát sinh đến lúc dùng được	Dữ liệu đến nhanh hơn tốc độ ghi vào kho
Variety	Có bao nhiêu định dạng và nguồn khác nhau?	Số nguồn, tỷ lệ dữ liệu phi cấu trúc, số lược đồ (schema) khác nhau	Mỗi nguồn mới phải viết lại phần nạp dữ liệu
Veracity	Con số này có đáng tin để ra quyết định không?	Tỷ lệ thiếu, trùng, sai định dạng, độ trễ cập nhật	Hai phòng ban báo hai con số doanh thu khác nhau
Value	Dữ liệu này thay đổi quyết định nào?	Chi phí lưu trữ so với quyết định hoặc tiền tiết kiệm được	Lưu rất nhiều nhưng không ai mở ra xem

Volume: dữ liệu bao nhiêu thì gọi là lớn?

Volume là chữ V dễ hiểu nhất và cũng dễ hiểu sai nhất. Không có con số tuyệt đối. Một công ty logistics có 500 GB dữ liệu nhưng cần nối với hàng trăm triệu dòng định vị GPS có thể gặp khó hơn một công ty có 5 TB dữ liệu giao dịch gọn gàng. Phép thử thực tế là: dữ liệu có còn nằm vừa trong một máy chủ và một cơ sở dữ liệu quan hệ thông thường hay không, và truy vấn có còn chạy trong thời gian chấp nhận được hay không.

Để thấy quy mô toàn cầu, IDC trong báo cáo Data Age 2025 do Seagate tài trợ ước tính Global Datasphere tăng từ 33 zettabyte năm 2018 lên 175 zettabyte năm 2025. Đây là dự báo, không phải số đo. Một phiên bản dự báo sau của IDC (Global DataSphere Forecast 2021–2025) được trích dẫn ở mức 181 zettabyte vào năm 2025 với tốc độ tăng trung bình năm 23%. Hai con số lệch nhau vì mô hình được cập nhật, nên bạn chỉ nên dùng chúng để hiểu mức độ lớn, không phải để lập kế hoạch.

Với doanh nghiệp Việt Nam, Volume thường hiện ra ở ba dạng: nhật ký (log) ứng dụng và website, dữ liệu giao dịch của chuỗi bán lẻ hoặc thanh toán, và dữ liệu cảm biến trong nhà máy. Điểm chung là bản ghi nhỏ nhưng số lượng khổng lồ và không ngừng tăng. Khi đó cách lưu thông thường là hệ thống tệp phân tán hoặc kho lưu trữ đối tượng trên đám mây. Bạn có thể xem cách tổ chức kho này ở bài data lake là gì.

Velocity: nhanh đến mức nào thì cần xử lý luồng?

Velocity gồm hai nửa mà nhiều người gộp làm một: tốc độ dữ liệu được sinh ra, và tốc độ bạn cần có kết quả. Nửa thứ hai mới quyết định kiến trúc. Một công ty chỉ cần báo cáo doanh thu mỗi sáng thì dữ liệu phát sinh nhanh đến đâu vẫn có thể nạp theo lô (batch) mỗi đêm. Ngược lại, hệ thống chống gian lận thẻ cần phản hồi trong lúc giao dịch còn đang chờ duyệt.

Ba mức độ trễ thường gặp

• Theo lô (batch): gom dữ liệu theo giờ hoặc ngày rồi xử lý một lần. Phù hợp báo cáo tài chính, đối soát.
• Vi lô (micro-batch): xử lý theo khoảng vài giây đến vài phút. Phù hợp bảng theo dõi tồn kho, đơn hàng trong ngày.
• Luồng (streaming): xử lý từng sự kiện khi vừa phát sinh. Phù hợp phát hiện gian lận, cảnh báo rung động máy.

Apache Kafka là nền tảng truyền dữ liệu theo luồng, đóng vai trò đường ống nhận dữ liệu liên tục từ ứng dụng, cảm biến, log rồi chuyển sang hệ thống lưu trữ và phân tích. Nó là một lựa chọn phổ biến cho Velocity, nhưng không phải lựa chọn duy nhất. Nếu bạn muốn phân biệt “gần thời gian thực” với “thời gian thực” đúng nghĩa, hãy đọc real-time data là gì. Việc nối nguồn đến đích được tách riêng trong bài data pipeline là gì.

Một sai lầm hay gặp: xây hạ tầng luồng cho một báo cáo mà người dùng chỉ xem mỗi tuần một lần. Chi phí vận hành tăng, giá trị không đổi. Hãy hỏi người dùng “nếu số liệu chậm 1 giờ thì quyết định nào bị sai?” trước khi chọn.

Variety: dữ liệu đa dạng gây khó ở chỗ nào?

Variety không chỉ là có nhiều loại tệp. Khó khăn thật nằm ở việc mỗi nguồn có cách đặt tên cột, kiểu ngày giờ, mã khách hàng và đơn vị đo khác nhau. Ba nhóm dữ liệu thường được phân biệt:

• Có cấu trúc: bảng giao dịch, danh mục sản phẩm, bảng lương.
• Bán cấu trúc: JSON từ API, XML, nhiều loại log.
• Phi cấu trúc: email, hình ảnh camera, ghi âm cuộc gọi, bình luận mạng xã hội.

IDC dự báo 80% dữ liệu toàn cầu sẽ là phi cấu trúc vào năm 2025. Với doanh nghiệp, ý nghĩa thực tế là phần dữ liệu khó tìm kiếm nhất lại tăng nhanh nhất. Chi tiết cách phân biệt và xử lý từng nhóm nằm ở bài dữ liệu có cấu trúc và phi cấu trúc.

Ví dụ minh hoạ: một chuỗi cà phê có ứng dụng đặt hàng. Dữ liệu đơn hàng nằm trong cơ sở dữ liệu quan hệ (có cấu trúc). Sự kiện bấm nút trong ứng dụng đến dưới dạng JSON (bán cấu trúc). Đánh giá của khách trên bản đồ và tin nhắn Zalo hỗ trợ là văn bản tự do (phi cấu trúc). Muốn trả lời “vì sao khách bỏ giỏ hàng ở bước chọn size”, bạn phải nối được ba nguồn theo cùng một mã khách. Chính việc nối này mới là chi phí của Variety, và nó nằm ở khâu tích hợp dữ liệu.

Veracity: làm sao biết dữ liệu có đáng tin?

Veracity là chữ V mà các bài top thường nói chung chung là “độ chính xác”. Thực tế nó có thể tách thành những lỗi cụ thể và đo được:

• Thiếu: tỷ lệ ô trống ở các trường bắt buộc, ví dụ số điện thoại hoặc mã sản phẩm.
• Trùng: cùng một khách xuất hiện ba lần với ba cách viết tên.
• Sai định dạng: ngày tháng nhập lẫn kiểu ngày/tháng và tháng/ngày.
• Cũ: dữ liệu tồn kho cập nhật mỗi 24 giờ nhưng bị dùng để hứa giao hàng ngay.
• Thiên lệch: chỉ thu được dữ liệu của nhóm khách dùng ứng dụng, bỏ sót khách mua tại quầy.
• Không rõ nguồn gốc: con số trên báo cáo không truy ngược được về hệ thống gốc.

Volume càng lớn thì Veracity càng khó kiểm bằng mắt. Với 50 dòng bạn có thể rà tay, với 500 triệu dòng bạn cần quy tắc kiểm tra tự động. Khung đo lường và các chiều chất lượng được trình bày trong bài data quality là gì.

Nguyên tắc dữ liệu đầu vào sai lệch thì mô hình cho kết quả sai lệch khiến Veracity quan trọng không kém khối lượng. Điều này đặc biệt đúng khi dữ liệu dùng để huấn luyện mô hình AI: số lượng nhiều không bù được nhãn sai.

Value: dữ liệu lớn có giá trị khi nào?

Value là chữ V duy nhất không thuộc về dữ liệu mà thuộc về cách dùng. Một kho dữ liệu 100 TB không có giá trị nếu không có quyết định nào dựa vào nó. Cách kiểm tra đơn giản là viết ra một câu theo mẫu: “Nếu biết X, chúng tôi sẽ đổi Y.” Ví dụ minh hoạ: “Nếu biết khách nào có xu hướng ngừng mua sau 45 ngày, đội chăm sóc sẽ gọi trước ngày thứ 40.” Nếu không điền được Y, dữ liệu mới chỉ là chi phí lưu trữ.

Giá trị thường đến theo thứ tự từ dễ đến khó: mô tả điều đã xảy ra (descriptive analytics), dự đoán điều sắp xảy ra (predictive analytics), rồi đề xuất hành động. Phần lớn doanh nghiệp nên chắc chắn ở tầng mô tả trước khi trông đợi tầng dự đoán, vì tầng dự đoán đòi hỏi Veracity cao hơn nhiều.

Tự chấm điểm 5V cho dữ liệu của doanh nghiệp bạn

Dưới đây là cách chấm nhanh một nguồn dữ liệu cụ thể, ví dụ “log đơn hàng website”, không phải toàn công ty. Thực hiện từng bước:

1. Volume: ghi lại dung lượng hiện tại và mức tăng mỗi tháng. Chạy thử truy vấn lớn nhất mà bộ phận phân tích hay dùng và ghi thời gian chạy.
2. Velocity: hỏi người dùng báo cáo: dữ liệu trễ tối đa bao lâu thì vẫn dùng được? Ghi con số đó bằng phút hoặc giờ.
3. Variety: đếm số nguồn, số định dạng, và xem có bao nhiêu nguồn phải tự viết quy tắc chuyển đổi riêng.
4. Veracity: lấy 1.000 dòng ngẫu nhiên, đếm tỷ lệ thiếu, trùng, sai định dạng. Đây là mẫu nhỏ nhưng đủ để thấy mức độ vấn đề.
5. Value: liệt kê quyết định đang dùng nguồn này và người ra quyết định. Nếu danh sách trống, đánh dấu nguồn để xem xét lưu trữ rẻ hơn hoặc ngừng thu.

Kết quả chấm điểm quyết định hướng kỹ thuật. Ma trận dưới đây ghép Volume với nhu cầu Velocity, hai chữ V ảnh hưởng nhất đến hạ tầng.

Bạn sẽ thấy ô “Database thông thường” nằm ở góc thấp trái. Rất nhiều doanh nghiệp tự gọi mình là có big data nhưng nằm ở ô này, và điều đó hoàn toàn ổn. Về cách chọn giữa kho truyền thống và kho linh hoạt, xem bài data warehouse và data lake.

Ví dụ minh hoạ: 5V trong một nhà máy và một chuỗi bán lẻ

Hai tình huống giả định dưới đây (ví dụ minh hoạ, không phải số liệu của doanh nghiệp thật) cho thấy cùng 5V nhưng trọng tâm khác nhau.

Chữ V	Nhà máy dệt có cảm biến máy	Chuỗi cửa hàng tiện lợi
Volume	Mỗi cảm biến ghi đều theo giây, nhân với hàng trăm máy	Hàng triệu dòng hoá đơn mỗi tháng
Velocity	Cần cảnh báo trong vài giây khi rung bất thường	Tồn kho cần cập nhật theo giờ, không cần theo giây
Variety	Chuỗi thời gian, ảnh lỗi vải, nhật ký bảo trì viết tay	Hoá đơn, chương trình khuyến mãi, đánh giá của khách
Veracity	Cảm biến lệch chuẩn, đồng hồ máy không đồng bộ giờ	Cùng một sản phẩm có nhiều mã vạch giữa các nhà cung cấp
Value	Giảm thời gian dừng máy ngoài kế hoạch	Giảm hàng hết kệ và hàng tồn quá hạn

Nhà máy khó nhất ở Velocity và Veracity. Chuỗi bán lẻ khó nhất ở Variety và Veracity vì phải thống nhất mã sản phẩm, một bài toán thuộc về quản lý dữ liệu chủ. Cùng là big data nhưng đầu tư đầu tiên của hai nơi khác hẳn nhau.

Những hiểu lầm thường gặp khi dùng 5V

• “Phải đủ cả 5V mới là big data.” Không đúng. Nhiều hệ thống nổi bật ở một hoặc hai chữ V, ví dụ log truy cập chỉ cần xử lý Volume và Velocity.
• “Volume lớn là quan trọng nhất.” Một số tài liệu học thuật coi đây là đặc điểm quan trọng nhất, nhưng trong triển khai thực tế, Veracity và Value thường quyết định dự án thành hay bại.
• “Big data là công nghệ.” 5V mô tả đặc điểm của dữ liệu, còn Hadoop, Spark, Kafka là công cụ. Không có công cụ nào tự biến dữ liệu thành giá trị.
• “Đếm đủ V là xong.” Hãy dùng 5V để đặt câu hỏi cho từng nguồn dữ liệu, rồi ghi kết quả đo được. Nhãn “5V” trong tài liệu dự án không có ý nghĩa nếu không đi kèm con số.

Khi nào 5V chưa phải việc cần lo?

Nếu toàn bộ dữ liệu của bạn nằm trong vài bảng tính hoặc một cơ sở dữ liệu nhỏ, báo cáo chạy trong vài giây và nhu cầu là báo cáo định kỳ, thì ưu tiên nên là chất lượng dữ liệu chứ không phải công nghệ big data. Lúc đó câu hỏi về Veracity và Value đã đủ để tạo khác biệt. Khi tập dữ liệu bắt đầu đẩy truy vấn đến hàng giờ, hoặc khi bạn phải nối nhiều nguồn với định dạng khác nhau, mới đến lúc cân nhắc kiến trúc phân tán. Để có bức tranh đầy đủ về chuỗi công việc sau đó, bạn có thể đọc bài phân tích dữ liệu là gì.

Câu hỏi thường gặp

Dữ liệu lớn có những đặc điểm gì?

Năm đặc điểm phổ biến là Volume (khối lượng), Velocity (tốc độ), Variety (đa dạng), Veracity (độ tin cậy) và Value (giá trị). Ba đặc điểm đầu có từ nghiên cứu năm 2001 của Doug Laney, hai đặc điểm sau được bổ sung về sau.

Dữ liệu bao nhiêu thì được gọi là big data?

Không có ngưỡng chính thức. Tiêu chí thực tế là dữ liệu vượt khả năng lưu trữ hoặc xử lý của hệ thống hiện tại trong thời gian chấp nhận được. Một tập dữ liệu nhỏ nhưng đa dạng và đến rất nhanh vẫn có thể cần cách làm của big data.

5V và 3V khác nhau thế nào?

3V mô tả khó khăn kỹ thuật khi lưu trữ và xử lý: nhiều, nhanh, đa dạng. 5V thêm hai câu hỏi về chất lượng và hiệu quả: dữ liệu có đáng tin không và có tạo ra giá trị không.

Chữ V nào khó nhất với doanh nghiệp Việt Nam?

Thường là Veracity, vì dữ liệu nằm rải rác ở nhiều phần mềm, mã khách hàng và mã sản phẩm không thống nhất. Đây là nhận định chung từ các dự án tích hợp dữ liệu, không phải số liệu khảo sát. Mức độ khó thực tế còn tuỳ từng doanh nghiệp.

Có 6V hoặc 7V thật không?

Có trong một số tài liệu, thường thêm Variability (tính biến đổi của ý nghĩa dữ liệu theo ngữ cảnh) và Visualization (khả năng trực quan hoá). Chúng không phải chuẩn bắt buộc, nên bạn vẫn có thể dùng 5V làm khung chính. Về cách trình bày kết quả, xem data visualization là gì.

Làm sao cải thiện Veracity khi dữ liệu đã quá nhiều?

Không rà tay toàn bộ. Hãy chọn các trường quan trọng nhất, viết quy tắc kiểm tra tự động ngay tại điểm nạp dữ liệu và đo tỷ lệ lỗi theo thời gian. Những lỗi lặp lại thường chỉ đến từ vài nguồn, nên sửa tại nguồn hiệu quả hơn làm sạch ở cuối.