Thu thập dữ liệu là gì?

Mục lục

1. Thu thập dữ liệu là gì?
2. Quy trình thu thập dữ liệu gồm những bước nào?
3. Có những loại thu thập dữ liệu nào?
4. Doanh nghiệp Việt Nam thu thập dữ liệu từ những nguồn nào?
5. Dữ liệu sau khi thu thập đi đâu?
6. Những lỗi thu thập dữ liệu thường gặp và cách xử lý
7. Thu thập dữ liệu cá nhân cần lưu ý gì về pháp lý?
8. Ưu điểm và hạn chế của thu thập dữ liệu
9. Thu thập dữ liệu khác gì với các khái niệm gần?
10. Khi nào nên và không nên bắt đầu thu thập?
11. Câu hỏi thường gặp

Thu thập dữ liệu là gì?

Thu thập dữ liệu (data collection) là việc ghi nhận và đo lường thông tin về những biến đã chọn trong một hệ thống nào đó. Sau đó bạn dùng thông tin này để trả lời câu hỏi và đánh giá kết quả. Wikipedia tiếng Việt mô tả đây là quá trình thu thập và đo lường thông tin về các biến được nhắm mục tiêu, và nó có mặt trong nghiên cứu khoa học lẫn kinh doanh.

Điểm dễ nhầm là chữ “thu thập”. Trong doanh nghiệp, thu thập không chỉ là đi hỏi người khác. Nó gồm cả việc quyết định hệ thống nào phải ghi lại điều gì. Ví dụ, một phần mềm bán hàng chỉ lưu tổng tiền hoá đơn thì sau này bạn không thể phân tích theo từng mặt hàng. Dữ liệu không được ghi tại thời điểm xảy ra thì gần như không thể tái tạo.

Cần phân biệt ba khái niệm hay bị gộp chung:

• Dữ liệu (data): bản ghi thô như một dòng đơn hàng, một lượt nhấp, một phiếu khảo sát.
• Thu thập: hành động tạo ra hoặc lấy về các bản ghi đó.
• Xử lý và phân tích: những bước làm sau khi dữ liệu đã nằm trong tay. Chúng có bài riêng, ví dụ làm sạch dữ liệu và khai phá dữ liệu.

Quy trình thu thập dữ liệu gồm những bước nào?

Dù là phiếu khảo sát giấy hay luồng sự kiện từ ứng dụng, quy trình thường đi qua năm bước dưới đây. Điều bài top thường bỏ qua là bước 4: kiểm tra ngay khi ghi nhận, vì sửa tại nguồn rẻ hơn nhiều so với sửa ở kho dữ liệu.

Bước 1 và 2: câu hỏi quyết định trường dữ liệu

Hãy viết câu hỏi dưới dạng có thể đo. “Khách hiểu thương hiệu thế nào” quá rộng. “Trong 100 khách vào cửa hàng, bao nhiêu người hỏi giá trước khi hỏi sản phẩm” thì đo được. Từ câu hỏi, bạn suy ra các trường cần có: thời điểm, kênh, mã sản phẩm, trạng thái đơn.

Với mỗi trường, nên ghi sẵn bốn thứ: tên trường, kiểu dữ liệu (số, ngày, chọn một), đơn vị, và giá trị cho phép. Ví dụ, “ngày giao” phải ghi rõ theo định dạng ngày/tháng/năm hay ngược lại, và theo múi giờ nào nếu hệ thống có đối tác nước ngoài.

Bước 3 và 4: chọn cách thu thập và chặn lỗi tại nguồn

Cách thu thập gồm khảo sát, phỏng vấn, quan sát, nhập từ phần mềm, đọc cảm biến, gọi API hoặc tải dữ liệu công bố. Kiểm tra tại nguồn có thể rất đơn giản:

• Dùng danh sách chọn thay cho ô nhập tự do ở các trường như tỉnh thành, nguồn khách.
• Đặt ràng buộc cho số điện thoại và email ngay trên biểu mẫu.
• Bắt buộc các trường then chốt, nhưng đừng bắt buộc trường nhạy cảm không cần thiết.
• Gắn mã phiên bản biểu mẫu để biết bản ghi nào thu theo bản câu hỏi nào.

Bước 5: lưu cùng thông tin về nguồn

Mỗi bản ghi nên đi kèm ai thu, lúc nào, bằng cách nào. Đây là phần siêu dữ liệu (xem metadata là gì). Khi hai con số lệch nhau, thông tin này giúp bạn truy được nguyên nhân, ví dụ do hai đợt khảo sát dùng hai cách hỏi khác nhau.

Có những loại thu thập dữ liệu nào?

Cùng một hoạt động có thể được phân loại theo nhiều trục. Bạn cần biết trục nào đang được nói đến để chọn cách làm.

Dữ liệu sơ cấp và thứ cấp

Dữ liệu sơ cấp được thu trực tiếp từ nguồn qua khảo sát, thí nghiệm hoặc quan sát. Dữ liệu thứ cấp là dữ liệu bên khác đã thu, xử lý và công bố, chẳng hạn số liệu thống kê, báo cáo ngành. Dữ liệu sơ cấp sát với câu hỏi của bạn hơn nhưng tốn thời gian và chi phí hơn. Dữ liệu thứ cấp có sẵn nhưng bạn phải kiểm tra họ đo cái gì, ở thời điểm nào và có khớp với nhu cầu của mình hay không.

Dữ liệu bên thứ nhất, thứ hai, thứ ba

Cách chia này phổ biến trong marketing. Dữ liệu bên thứ nhất (first-party) là dữ liệu doanh nghiệp tự thu từ khách của mình, ví dụ lịch sử mua hàng, biểu mẫu đăng ký, hành vi trên website. Bên thứ hai (second-party) là dữ liệu đối tác chia sẻ theo thỏa thuận. Bên thứ ba (third-party) là dữ liệu mua hoặc lấy từ nhà cung cấp tổng hợp. Dữ liệu bên thứ nhất thường dễ chứng minh nguồn gốc và sự đồng ý nhất. Nếu bên thứ ba không chứng minh được khách đã đồng ý, bạn sẽ gặp rủi ro pháp lý khi dùng.

Định lượng và định tính

Dữ liệu định lượng là các con số đếm hoặc đo được. Dữ liệu định tính là lời nói, văn bản, hình ảnh, mô tả hành vi. Chúng giải quyết hai loại câu hỏi khác nhau: “bao nhiêu” và “vì sao”.

Phần lớn dữ liệu định tính là văn bản, hình ảnh, âm thanh, thuộc nhóm phi cấu trúc. Bạn có thể đọc thêm ở bài về dữ liệu có cấu trúc và phi cấu trúc.

Thủ công và tự động

Tiêu chí	Thu thập thủ công	Thu thập tự động
Ví dụ	Phiếu giấy, nhập tay vào bảng tính	Nhật ký POS, API, cảm biến, sự kiện web
Lỗi thường gặp	Gõ sai, bỏ sót, mỗi người ghi một kiểu	Cấu hình sai, lặp bản ghi, mất sự kiện khi lỗi mạng
Khối lượng phù hợp	Nhỏ, thay đổi thường xuyên	Lớn, lặp lại đều
Cần để kiểm tra	Biểu mẫu chuẩn, người rà soát	Giám sát luồng dữ liệu, đối chiếu với nguồn gốc
Khả năng truy vết	Phụ thuộc người ghi chép	Tốt nếu lưu nhật ký và phiên bản cấu hình

Doanh nghiệp Việt Nam thu thập dữ liệu từ những nguồn nào?

Ví dụ minh hoạ (giả định): một chuỗi năm cửa hàng trà đóng gói muốn biết vì sao doanh số giảm vào cuối tuần. Họ có thể ghép các nguồn sau:

• Phần mềm bán hàng: thời gian, mã món, kênh (tại quầy, giao hàng), mã khuyến mãi.
• Kênh nhắn tin chăm sóc khách: các câu hỏi lặp lại, ví dụ hỏi về khung giờ giao.
• Biểu mẫu đánh giá sau mua: 2 câu hỏi thang điểm và một ô nhận xét.
• Dữ liệu thứ cấp: lịch lễ, thời tiết, sự kiện khu vực.

Mỗi nguồn trả lời một phần. Phần mềm bán hàng cho biết giảm bao nhiêu và lúc nào. Nhận xét của khách cho biết có thể vì sao. Khi đó bạn mới biết cần ghép các nguồn này, tức là chuyển sang bài toán tích hợp dữ liệu.

Nguồn thường gặp khác gồm hệ thống kế toán, CRM, máy chấm công, camera đếm lượt vào cửa hàng, thiết bị IoT trên dây chuyền. Với dữ liệu cần phản ứng ngay như cảnh báo quá nhiệt, bạn phải chọn kiểu thu thập liên tục, xem thêm dữ liệu thời gian thực.

Dữ liệu sau khi thu thập đi đâu?

Dữ liệu tự động thường đi qua một đường ống: nguồn, nơi nhận, biến đổi, nơi lưu. Cơ chế này được trình bày ở bài data pipeline là gì. Còn việc trích xuất, biến đổi và nạp vào kho thì thuộc quy trình ETL. Thu thập là điểm khởi đầu của chuỗi này, nên chất lượng ở đây ảnh hưởng đến mọi bước sau.

Những lỗi thu thập dữ liệu thường gặp và cách xử lý

Lỗi	Dấu hiệu	Cách xử lý
Lệch mẫu (sampling bias)	Chỉ khách hài lòng mới điền khảo sát	Mời ngẫu nhiên, ghi tỷ lệ phản hồi, so cơ cấu mẫu với cơ cấu khách thật
Câu hỏi dẫn dắt	Hầu hết trả lời cùng một hướng	Viết trung lập, thử với vài người trước khi phát hành
Trường mơ hồ	Mỗi phòng ban hiểu “khách hàng mới” một khác	Lập từ điển dữ liệu, ghi định nghĩa và công thức
Trùng bản ghi	Một khách xuất hiện ở nhiều tên, nhiều số điện thoại	Chuẩn hoá định dạng khi nhập, đặt khoá nhận diện (xem quản trị dữ liệu chủ)
Mất sự kiện	Số lượt ghi nhận thấp hơn thực tế vào giờ cao điểm	Đối chiếu với nguồn gốc (sổ quỹ, log máy chủ), thêm cơ chế thử lại
Thu thừa	Biểu mẫu hỏi ngày sinh, địa chỉ mà không dùng tới	Xoá trường không có mục đích rõ ràng

Bộ tiêu chí chất lượng như đầy đủ, chính xác, nhất quán, kịp thời được trình bày ở bài chất lượng dữ liệu. Khi đã thu sai, việc dọn lại sẽ tốn công hơn nhiều so với kiểm tra khi ghi nhận.

Thu thập dữ liệu cá nhân cần lưu ý gì về pháp lý?

Khi dữ liệu có thể gắn với một người cụ thể (tên, số điện thoại, hình ảnh, lịch sử mua), việc thu thập cần được thực hiện cẩn trọng hơn so với các loại dữ liệu thông thường.

Ba điểm áp dụng trực tiếp cho người làm thu thập:

• Đúng phạm vi và mục đích. Luật chỉ cho thu thập, xử lý đúng phạm vi và mục đích cụ thể, rõ ràng. Vì thế biểu mẫu nên ghi từng mục đích riêng.
• Đồng ý theo từng mục đích. Sự đồng ý phải thể hiện cho từng mục đích, và sự im lặng hoặc không phản hồi không được coi là đồng ý. Ô chọn sẵn “đồng ý” không phải là cách làm an toàn.
• Dữ liệu nhạy cảm cần thận trọng hơn. Luật phân biệt dữ liệu cơ bản với dữ liệu nhạy cảm như sức khỏe, sinh trắc học, tài chính. Với nhóm sau, bạn nên có tư vấn pháp lý trước khi thu.

Phần khung quản trị đầy đủ như phân quyền, vòng đời dữ liệu, trách nhiệm nằm ở bài quản trị dữ liệu. Khi dữ liệu đi qua web scraping hoặc mua từ bên thứ ba, bạn cũng cần xem điều khoản của nguồn và kiểm tra dữ liệu có chứa thông tin cá nhân hay không.

Ưu điểm và hạn chế của thu thập dữ liệu

Ưu điểm

• Thay ước đoán bằng bằng chứng có thể đối chiếu.
• Cho phép đo thay đổi theo thời gian nếu bạn giữ cùng một cách đo.
• Làm nền cho báo cáo, phân tích và huấn luyện mô hình.

Hạn chế

• Tốn chi phí lưu trữ, vận hành và nhân lực kiểm tra.
• Dễ lệch nếu cách hỏi hoặc cách chọn mẫu sai.
• Phát sinh nghĩa vụ bảo mật và tuân thủ khi có dữ liệu cá nhân.
• Dữ liệu cũ chỉ phản ánh bối cảnh lúc thu, có thể không còn đúng.

Thu thập dữ liệu khác gì với các khái niệm gần?

Khái niệm	Làm gì	Quan hệ với thu thập
Thu thập dữ liệu	Ghi nhận bản ghi từ nguồn	Điểm khởi đầu
Tích hợp dữ liệu	Gộp nhiều nguồn thành một góc nhìn	Làm sau khi đã có nhiều nguồn
Làm sạch dữ liệu	Sửa lỗi, trùng, thiếu	Xử lý hậu quả của thu thập kém
Khai phá dữ liệu	Tìm quy luật trong dữ liệu có sẵn	Dùng dữ liệu đã thu
Gán nhãn dữ liệu	Thêm nhãn để huấn luyện AI	Làm trên dữ liệu đã thu, xem gán nhãn dữ liệu

Một điểm hay gây hiểu nhầm: “crawl dữ liệu” (thu thập tự động từ trang web) chỉ là một cách thu thập trong nhiều cách. Còn “thu thập dữ liệu” trong nghiên cứu thường nghĩa là khảo sát, phỏng vấn, quan sát.

Khi nào nên và không nên bắt đầu thu thập?

Nên thu thập khi: bạn viết được câu hỏi cần trả lời, biết ai sẽ dùng kết quả, và nguồn thu có thể ghi lại ổn định. Ví dụ, bạn muốn biết tỷ lệ đơn bị hoàn theo kênh bán và hệ thống đã có trường kênh bán.

Chưa nên khi: các phòng ban còn dùng nhiều định nghĩa khác nhau cho cùng một chỉ số, hoặc bạn không rõ mục đích sử dụng dữ liệu cá nhân. Lúc này nên chốt định nghĩa và mục đích trước, vì dữ liệu thu theo định nghĩa lệch sẽ không dùng lại được.

Không nên thu khi: dữ liệu nhạy cảm không phục vụ mục đích nào rõ ràng. Thu ít nhưng đúng sẽ rẻ và an toàn hơn thu nhiều rồi mới nghĩ cách dùng.

Câu hỏi thường gặp

Thu thập dữ liệu và data collection có giống nhau không?

Có. Data collection là thuật ngữ tiếng Anh tương ứng. Trong tiếng Việt, đôi khi người ta dùng “thu thập dữ liệu” để chỉ cả crawl web, nhưng nghĩa gốc rộng hơn nhiều.

Dữ liệu sơ cấp và thứ cấp khác nhau thế nào?

Dữ liệu sơ cấp do bạn hoặc tổ chức của bạn tự thu cho một mục đích cụ thể. Dữ liệu thứ cấp do bên khác thu và công bố trước đó. Với dữ liệu thứ cấp, bạn cần kiểm tra định nghĩa và thời điểm thu của nguồn.

Doanh nghiệp nhỏ nên thu thập dữ liệu bằng công cụ gì?

Phụ thuộc vào câu hỏi. Biểu mẫu trực tuyến phù hợp với khảo sát, phần mềm bán hàng với dữ liệu giao dịch, còn bảng tính chỉ nên dùng khi khối lượng nhỏ và có quy ước nhập rõ. Điều quan trọng hơn công cụ là cách đặt tên trường và quy tắc nhập nhất quán.

Thu thập số điện thoại khách hàng có cần xin đồng ý không?

Số điện thoại là dữ liệu cá nhân. Việc xử lý loại dữ liệu này phải đúng mục đích đã thông báo và nhìn chung dựa trên sự đồng ý theo từng mục đích. Với tình huống cụ thể, bạn nên hỏi chuyên gia pháp lý.

Thu thập dữ liệu tự động có đáng tin hơn thủ công không?

Không mặc định. Tự động giảm lỗi gõ nhưng có thể sai hàng loạt nếu cấu hình sai. Bạn vẫn nên đối chiếu một mẫu với nguồn gốc, chẳng hạn so số đơn trong hệ thống với sổ quỹ của một ngày.

Thu thập bao nhiêu dữ liệu là đủ?

Không có con số chung. Với khảo sát, kích thước mẫu phụ thuộc quy mô nhóm đối tượng và độ chính xác mong muốn. Với dữ liệu hệ thống, câu hỏi nên là các trường đã đủ để trả lời câu hỏi ban đầu hay chưa.