Data integration là gì?

Mục lục

1. Data integration là gì?
2. Tích hợp dữ liệu hoạt động như thế nào?
3. Các kỹ thuật tích hợp dữ liệu phổ biến
4. Khớp thực thể: phần khó nhất mà bài viết thường bỏ qua
5. Tích hợp dữ liệu dùng vào việc gì ở doanh nghiệp Việt Nam?
6. Ưu điểm và hạn chế
7. So sánh với các khái niệm gần
8. Khi nào nên và không nên đầu tư vào tích hợp dữ liệu?
9. Câu hỏi thường gặp

Data integration là gì?

Data integration, hay tích hợp dữ liệu, là việc kết hợp dữ liệu không đồng nhất từ nhiều nguồn để người dùng truy vấn và nhìn thấy dữ liệu như một tập thống nhất. Nguồn có thể là cơ sở dữ liệu quan hệ, cơ sở dữ liệu phi quan hệ, kho dữ liệu, tệp tin hoặc ứng dụng SaaS.

Ví dụ điển hình: phòng kế toán dùng phần mềm kế toán, phòng kinh doanh dùng CRM, kho dùng phần mềm quản lý kho, marketing dùng file Excel và công cụ quảng cáo. Mỗi hệ thống gọi cùng một khách hàng bằng một cách khác nhau. Khi giám đốc hỏi “khách hàng này mua bao nhiêu, còn nợ bao nhiêu, đã khiếu nại chưa”, không hệ thống nào trả lời được một mình. Tích hợp dữ liệu giải quyết đúng khoảng trống đó.

Tích hợp dữ liệu khác gì với các thao tác gần giống?

Tài liệu của Domo phân biệt tích hợp dữ liệu với nạp dữ liệu (ingestion), di chuyển dữ liệu (migration) và sao chép dữ liệu (replication). Có thể hiểu như sau:

• Nạp dữ liệu: đưa dữ liệu vào một nơi, chưa chắc đã khớp hay chuẩn hoá.
• Di chuyển dữ liệu: chuyển từ hệ thống cũ sang hệ thống mới, thường làm một lần rồi tắt hệ thống cũ.
• Sao chép dữ liệu: tạo bản giống hệt để dự phòng hoặc phân tải.
• Tích hợp dữ liệu: đòi hỏi khớp ý nghĩa giữa các nguồn và duy trì việc đó liên tục.

Tích hợp dữ liệu hoạt động như thế nào?

Dù dùng công cụ nào, luồng tích hợp thường đi qua sáu việc:

1. Kết nối nguồn: dùng connector, truy cập cơ sở dữ liệu, gọi API hoặc đọc file. Mỗi nguồn có định dạng, quyền truy cập và giới hạn riêng.
2. Lấy dữ liệu: lấy toàn bộ, lấy theo lô, hoặc chỉ lấy phần thay đổi.
3. Ánh xạ lược đồ (schema mapping): cột “SĐT” ở hệ thống này tương ứng “Mobile” ở hệ thống kia, kiểu ngày tháng và đơn vị tiền tệ được đưa về cùng chuẩn.
4. Khớp thực thể (entity matching): nhận ra các bản ghi khác nhau cùng chỉ một khách hàng hoặc một sản phẩm.
5. Làm sạch và kiểm tra: loại trùng, bổ sung giá trị thiếu, chặn bản ghi vi phạm quy tắc.
6. Cung cấp cho nơi dùng: nạp vào kho dữ liệu, đẩy sang công cụ báo cáo, hoặc mở thành dịch vụ cho ứng dụng khác gọi.

Phần di chuyển dữ liệu theo từng bước là chủ đề của data pipeline. Tích hợp dữ liệu rộng hơn ở chỗ nó còn bao gồm quy tắc khớp ý nghĩa, không chỉ đường đi của dữ liệu.

Các kỹ thuật tích hợp dữ liệu phổ biến

Các tài liệu của IBM, Domo, Matillion hay Exasol đều liệt kê một nhóm kỹ thuật gần như giống nhau: ETL, ELT, CDC, tích hợp qua API, ảo hoá dữ liệu và tích hợp ứng dụng. Điểm khác nhau là mỗi kỹ thuật đánh đổi độ trễ, chi phí và độ phức tạp theo cách riêng.

Kỹ thuật	Cơ chế	Phù hợp	Điểm cần lưu ý
ETL	Trích dữ liệu, biến đổi ở vùng trung gian rồi mới nạp vào đích	Quy tắc kiểm tra chặt trước khi nạp, báo cáo theo lô	Có thể thêm độ trễ và chi phí hạ tầng trung gian (theo Exasol)
ELT	Nạp dữ liệu vào đích trước, biến đổi bằng sức mạnh của kho dữ liệu	Kho dữ liệu đám mây, khối lượng lớn	Có thể làm quá tải hệ thống đích nếu không tối ưu
CDC (change data capture)	Chỉ bắt các dòng thay đổi, thường đọc từ nhật ký giao dịch	Đồng bộ gần thời gian thực, giảm tải cho hệ thống nguồn	Cần connector chuyên dụng và xử lý khi cấu trúc bảng nguồn đổi
Tích hợp qua API	Gọi REST hoặc GraphQL do ứng dụng cung cấp	Ứng dụng SaaS, trao đổi theo từng giao dịch	Bị giới hạn số lần gọi, chất lượng API mỗi nhà cung cấp một khác
Ảo hoá dữ liệu	Tạo lớp truy vấn logic, không sao chép dữ liệu	Truy vấn ad hoc, dữ liệu không được phép rời nơi lưu	Tốc độ phụ thuộc nguồn và mạng

Về ETL và ELT, bài ETL là gì đã so sánh chi tiết nên ở đây chỉ nhắc điểm cốt lõi: khác nhau ở chỗ biến đổi dữ liệu trước hay sau khi nạp.

Chọn theo độ trễ và việc có sao chép dữ liệu

Domo đưa ra mốc tham khảo: yêu cầu dưới một giây thường cần CDC hoặc hạ tầng streaming; độ trễ một đến năm phút làm được bằng ELT theo lô nhỏ và đủ cho phần lớn báo cáo, bảng điều khiển; còn dữ liệu cập nhật theo giờ hoặc ngày thì ETL theo lô vẫn ổn. Ma trận dưới đây xếp các kỹ thuật theo hai câu hỏi: dữ liệu có cần cập nhật tính bằng giây không, và có chấp nhận sao chép dữ liệu không.

Exasol nhận xét rằng ít nhóm dữ liệu chỉ dùng một phương pháp. Ví dụ một tổ chức tài chính có thể chạy CDC cho dữ liệu giao dịch, ELT cho lịch sử và ảo hoá cho báo cáo quản lý. Cái khó là cân bằng độ trễ, chi phí và quản trị giữa ba đường đó.

Khớp thực thể: phần khó nhất mà bài viết thường bỏ qua

Di chuyển dữ liệu là việc kỹ thuật có công cụ lo sẵn. Phần tốn thời gian nhất thường là quyết định hai bản ghi có phải cùng một đối tượng hay không. Khoá chung càng ít thì việc này càng khó.

Ví dụ minh hoạ: một công ty thương mại có ba hệ thống ghi cùng một khách hàng doanh nghiệp theo ba cách khác nhau.

Nếu cả ba hệ thống đều lưu mã số thuế đúng, quy tắc khớp rất gọn. Nếu mã số thuế bỏ trống ở CRM, bạn phải so khớp theo tên, địa chỉ, số điện thoại, và chấp nhận có cặp khớp sai. Vì vậy một quy tắc tích hợp tốt luôn chia kết quả thành ba nhóm: khớp chắc chắn, nghi ngờ cần người duyệt, không khớp. Khi nhiều bộ phận cùng sửa các danh mục lõi như khách hàng, sản phẩm, nhà cung cấp, bài toán chuyển sang quản lý dữ liệu chủ để giữ một bản “chuẩn” lâu dài.

Tích hợp dữ liệu dùng vào việc gì ở doanh nghiệp Việt Nam?

Các tình huống dưới đây là ví dụ minh hoạ, không phải số liệu của doanh nghiệp cụ thể nào.

• Chuỗi cửa hàng: hợp nhất dữ liệu bán hàng từ phần mềm POS, kho, chương trình khách hàng thân thiết và sàn thương mại điện tử để biết tồn kho thật theo từng cửa hàng. POS có thể đẩy dữ liệu theo lô cuối ngày, còn tồn kho cần cập nhật sớm hơn.
• Nhà máy: ghép lệnh sản xuất từ ERP với dữ liệu máy đo, lỗi và dừng máy để tính tỷ lệ phế phẩm theo ca. Hai nguồn này thường khác nhau về tần suất và định danh máy.
• Dịch vụ tài chính, bảo hiểm: gộp hợp đồng, thanh toán, bồi thường để có hồ sơ khách hàng đầy đủ. Dữ liệu ở đây rất nhạy cảm nên thường cần ảo hoá hoặc kiểm soát truy cập chặt.
• Doanh nghiệp vừa và nhỏ: nhiều khi chỉ cần tự động kéo dữ liệu từ phần mềm kế toán và bán hàng vào một bảng tổng hợp, rồi nối với công cụ business intelligence để làm báo cáo.

Đích đến phổ biến của dữ liệu đã tích hợp là kho dữ liệu, nơi dữ liệu được tổ chức để phân tích. Một số doanh nghiệp dùng lớp tích hợp để cấp dữ liệu sạch cho mô hình AI, vì mô hình chỉ đáng tin khi dữ liệu đầu vào nhất quán.

Lưu ý pháp lý khi gộp hồ sơ khách hàng

Khi tích hợp kết hợp thông tin cá nhân từ nhiều hệ thống (số điện thoại, lịch sử mua hàng, địa chỉ), bạn đang tạo ra hồ sơ chi tiết hơn từng nguồn riêng lẻ. Cần xác định mục đích xử lý, quyền truy cập vào bảng đã gộp và thời hạn lưu trữ ngay khi thiết kế luồng. Khung quy tắc dùng chung nằm trong bài quản trị dữ liệu.

Ưu điểm và hạn chế

Ưu điểm

• Một con số có một định nghĩa duy nhất, giảm cảnh phòng ban nào cũng có báo cáo doanh thu khác nhau.
• Giảm nhập liệu thủ công và sao chép file giữa các hệ thống.
• Là nền để làm phân tích, báo cáo và các ứng dụng AI cần dữ liệu từ nhiều nguồn.

Hạn chế

• Phụ thuộc vào nguồn: nguồn đổi cấu trúc, đổi API hoặc đổi quyền truy cập là luồng hỏng.
• Chi phí bảo trì thường bị đánh giá thấp so với chi phí xây ban đầu, vì mỗi nguồn là một mối nối cần chăm sóc.
• Sai khớp thực thể làm lan lỗi sang mọi báo cáo phía sau. Muốn truy ngược một số liệu bắt nguồn từ đâu cần có dòng dõi dữ liệu.
• Nếu dữ liệu nguồn vốn kém, tích hợp chỉ tập trung lỗi lại một chỗ. Xem thêm về chất lượng dữ liệu.

So sánh với các khái niệm gần

Khái niệm	Quan hệ với tích hợp dữ liệu
ETL	Một kỹ thuật trong nhóm tích hợp. Theo LatentView, ETL chạy một chiều từ nguồn sang đích, còn tích hợp dữ liệu bao gồm cả streaming, API và ảo hoá.
Data pipeline	Đường ống thực thi để dữ liệu chạy. Tích hợp là mục tiêu và thiết kế bên trên.
Data warehouse	Nơi chứa dữ liệu đã tích hợp để phân tích, không phải bản thân việc tích hợp.
Master data management	Quản lý bản ghi chuẩn của các danh mục lõi, thường đi sau hoặc song song với tích hợp.
Tích hợp ứng dụng	Cho các phần mềm hoạt động độc lập mà vẫn trao đổi được, cần nhất quán dữ liệu giữa các bản sao riêng (theo mastering-da.com).

Khi nào nên và không nên đầu tư vào tích hợp dữ liệu?

Nên khi

• Cùng một câu hỏi kinh doanh phải lấy số từ ít nhất hai hệ thống và nhân viên mất nhiều giờ mỗi tuần để ghép tay.
• Các bộ phận đang tranh luận vì số liệu lệch nhau, và đã chỉ ra được cột nào ở hệ thống nào gây lệch.
• Có yêu cầu cập nhật định kỳ rõ ràng, ví dụ báo cáo tồn kho sáng mỗi ngày.

Chưa nên khi

• Doanh nghiệp chỉ có một hệ thống chính và dữ liệu phụ nằm gọn trong vài bảng tính ổn định. Một lần xuất file có thể đủ.
• Chưa ai quyết định được “khách hàng hoạt động” hay “doanh thu thuần” nghĩa là gì. Hãy chốt định nghĩa trước, sau đó mới viết quy tắc tích hợp.
• Dữ liệu nguồn bị cấm hoặc hạn chế sao chép theo hợp đồng và quy định nội bộ. Khi đó cân nhắc ảo hoá hoặc truy vấn tại chỗ.

Với những tổ chức lớn có nhiều nhóm tự quản dữ liệu, các hướng kiến trúc như data fabric và data mesh đang được nhắc đến như cách tổ chức lại việc tích hợp. Matillion mô tả chúng như hướng thay thế các chiến lược tích hợp tập trung một khối. Đây là hướng cho quy mô lớn, không phải điểm khởi đầu của doanh nghiệp nhỏ.

Câu hỏi thường gặp

Data integration có phải là ETL không?

Không. ETL là một kỹ thuật cụ thể: trích, biến đổi rồi nạp. Data integration bao trùm cả ETL, ELT, CDC, API và ảo hoá dữ liệu, và có thể chạy theo lô, theo luồng hoặc theo yêu cầu.

Tích hợp dữ liệu có bắt buộc phải sao chép dữ liệu không?

Không. Ảo hoá dữ liệu tạo lớp truy vấn logic để xem dữ liệu từ nhiều nguồn mà không di chuyển chúng. Đổi lại, tốc độ truy vấn phụ thuộc vào độ phản hồi của hệ thống nguồn và đường truyền mạng.

CDC khác gì với chạy ETL mỗi giờ?

ETL theo lô thường đọc lại một phạm vi dữ liệu theo lịch. CDC chỉ nhận các dòng đã thay đổi, thường dựa trên nhật ký giao dịch, nên ít tải cho hệ thống nguồn hơn và đạt độ trễ thấp hơn. Bù lại, CDC cần connector phù hợp với từng loại cơ sở dữ liệu.

Làm sao biết kết quả tích hợp đang đúng?

Đối chiếu một vài tổng quen thuộc, ví dụ tổng doanh thu một ngày giữa hệ thống nguồn và bảng đã tích hợp. Theo dõi thêm số dòng nạp, tỷ lệ giá trị trống và tỷ lệ bản ghi khớp qua mỗi lần chạy. Khi lệch bất thường, cần có cảnh báo, và công cụ data observability hỗ trợ việc này.

Doanh nghiệp nhỏ có cần công cụ tích hợp riêng không?

Tuỳ số nguồn và tần suất cập nhật. Nếu chỉ có hai nguồn và báo cáo hằng tuần, một script hoặc tính năng xuất dữ liệu có sẵn trong phần mềm có thể đủ. Khi số nguồn tăng, hoặc có người phải ghép tay hằng ngày, các công cụ tích hợp chuyên dụng bắt đầu đáng cân nhắc.