Trả lời nhanh: DataOps (data operations) là cách làm việc với dữ liệu theo tinh thần DevOps và Agile: tự động hoá, kiểm thử và giám sát toàn bộ đường đi của dữ liệu, từ nguồn tới báo cáo hay mô hình AI. Mục tiêu là đưa dữ liệu đúng, kịp thời tới người dùng, với ít lỗi và ít việc thủ công.
Điểm chính
- DataOps là một phương pháp làm việc, không phải một phần mềm. Công cụ chỉ là phương tiện.
- Thuật ngữ xuất hiện năm 2014. Gartner đưa DataOps vào Hype Cycle quản trị dữ liệu năm 2018 và vào nhóm xu hướng XOps năm 2021.
- Quy trình DataOps là một vòng lặp: thu nạp, điều phối, kiểm thử, triển khai, giám sát rồi quay lại cải tiến.
- DevOps lo phần mềm, DataOps lo dữ liệu, thứ thay đổi mỗi ngày kể cả khi code không đổi.
- Doanh nghiệp vừa và nhỏ có thể bắt đầu từ một pipeline quan trọng nhất, với Git, kiểm thử dữ liệu và cảnh báo lỗi.
Mục lục
- DataOps là gì?
- DataOps ra đời từ đâu?
- Vì sao DataOps trở thành xu hướng hàng đầu?
- DataOps giải quyết những vấn đề gì?
- Nguyên tắc cốt lõi của DataOps là gì?
- Quy trình DataOps gồm những bước nào?
- DataOps khác DevOps, MLOps, data engineering và data governance thế nào?
- DataOps cần những thành phần công nghệ nào?
- Một đội DataOps gồm những vai trò nào?
- Lợi ích của DataOps với doanh nghiệp là gì?
- Áp dụng DataOps gặp những thách thức gì?
- Doanh nghiệp vừa và nhỏ nên áp dụng DataOps theo lộ trình nào?
- Đo hiệu quả DataOps bằng những chỉ số nào?
- Những hiểu lầm phổ biến về DataOps
- Câu hỏi thường gặp
DataOps là gì?
DataOps, viết tắt của data operations (vận hành dữ liệu), là tập hợp các nguyên tắc, quy trình và công cụ giúp đội dữ liệu cung cấp dữ liệu nhanh hơn mà vẫn đáng tin cậy. Nó mượn ba ý tưởng lớn: Agile (làm từng phần nhỏ, nhận phản hồi sớm), DevOps (tự động hoá kiểm thử và triển khai) và sản xuất tinh gọn (lean manufacturing, kiểm soát chất lượng ngay trên dây chuyền).
Gartner định nghĩa DataOps là một thực hành quản trị dữ liệu mang tính cộng tác, tập trung cải thiện việc giao tiếp, tích hợp và tự động hoá các luồng dữ liệu giữa người quản lý dữ liệu và người dùng dữ liệu trong tổ chức. IBM mô tả gần tương tự, nhấn mạnh tốc độ phân phối, chất lượng và sự gắn kết giữa các đội.
Ví dụ đời thường, mang tính minh hoạ. Hãy hình dung bếp trung tâm của một chuỗi quán cà phê. Nguyên liệu (dữ liệu thô) về từ nhiều nhà cung cấp, được sơ chế (biến đổi dữ liệu) rồi chia về các quán (báo cáo, ứng dụng). Bếp không có quy trình thì lô sữa hỏng chỉ bị phát hiện khi khách phàn nàn. Bếp làm theo DataOps thì có công thức chuẩn ghi từng phiên bản, kiểm tra nguyên liệu ngay khi nhập, có cảm biến báo động, và mỗi lần đổi công thức đều nấu thử trước.
DataOps ra đời từ đâu?
- Tháng 6/2014: Lenny Liebmann, biên tập viên InformationWeek, viết bài khách mời “3 reasons why DataOps is essential for big data success” trên blog Big Data & Analytics Hub của IBM. Đây được xem là lần đầu thuật ngữ DataOps xuất hiện.
- Từ năm 2015: khái niệm được Andy Palmer (Tamr) và nhiều người khác phổ biến. Năm 2019, Palmer cùng Michael Stonebraker và cộng sự xuất bản báo cáo “Getting DataOps Right” (O’Reilly).
- DataOps Manifesto: bản tuyên ngôn 18 nguyên tắc, hiện do DataKitchen duy trì, đúc kết từ trải nghiệm thực tế của những người làm dữ liệu.
- Ngày 11/09/2018: Hype Cycle quản trị dữ liệu 2018 của Gartner xếp DataOps vào giai đoạn “khởi phát đổi mới” (innovation trigger). Nick Heudecker của Gartner nhận xét đây là thực hành mới, chưa có tiêu chuẩn hay khung làm việc nào.
- Ngày 16/03/2021: trong 10 xu hướng dữ liệu và phân tích năm 2021, Gartner gọi tên XOps (DataOps, MLOps, ModelOps, PlatformOps), với mục tiêu dùng thực hành tốt của DevOps để bảo đảm độ tin cậy, khả năng tái sử dụng và lặp lại.
Vì sao DataOps trở thành xu hướng hàng đầu?
Doanh nghiệp không thiếu dữ liệu, mà thiếu dữ liệu dùng được đúng lúc. Thông cáo ngày 16/03/2021 của Gartner nhận định nhiều sáng kiến phân tích và AI thất bại vì khâu vận hành bị xem nhẹ từ đầu. Bốn lực đẩy chính:
- AI cần dữ liệu sạch, ổn định. Nguyên lý garbage in garbage out (rác vào, rác ra) đúng với mọi pipeline nuôi mô hình.
- Nguồn dữ liệu tăng nhanh. Mỗi nguồn một định dạng, một lịch cập nhật.
- Yêu cầu ra quyết định nhanh hơn. Báo cáo theo tuần không còn đủ khi giá, tồn kho và quảng cáo thay đổi theo giờ.
- Đòi hỏi tuân thủ và bảo mật. Phải biết ai dùng dữ liệu nào, vào việc gì.
Để nắm bức tranh chung về các ứng dụng dùng dữ liệu này, xem bài AI (trí tuệ nhân tạo) là gì.
DataOps giải quyết những vấn đề gì?
Các đội dữ liệu chưa có DataOps thường gặp cùng một nhóm triệu chứng:
- Báo cáo sai mà không ai biết. Chi nhánh đổi tên cột trong tệp Excel, báo cáo doanh thu hiện số 0, đến cuộc họp giao ban mới lộ.
- Yêu cầu mới mất hàng tuần. Thêm một chỉ số vào dashboard phải sửa tay, sợ hỏng phần khác.
- Phụ thuộc “người hùng”. Chỉ một kỹ sư hiểu pipeline. Người đó nghỉ phép là cả đội đứng.
- Không biết số liệu từ đâu ra. Hai phòng ban báo cáo hai con số doanh thu khác nhau, không ai truy được nguồn gốc.
- Chữa cháy liên tục. Thời gian dành cho sửa lỗi nhiều hơn làm phân tích mới.
DataOps xử lý các triệu chứng này bằng cách coi pipeline dữ liệu như một sản phẩm: có phiên bản, có kiểm thử, có giám sát, có người chịu trách nhiệm.
Nguyên tắc cốt lõi của DataOps là gì?
DataOps Manifesto có 18 nguyên tắc. Để dễ nhớ, có thể gom thành 6 nhóm:
| Nhóm nguyên tắc | Nội dung | Áp dụng thực tế |
|---|---|---|
| Lấy người dùng làm trung tâm | Liên tục làm hài lòng khách hàng, đón nhận thay đổi | Giao báo cáo theo từng phần nhỏ, lấy phản hồi sau mỗi lần giao |
| Làm việc nhóm | Phân tích là “môn thể thao đồng đội”, tự tổ chức, giảm phụ thuộc người hùng | Kỹ sư, chuyên viên phân tích và người dùng nghiệp vụ họp ngắn định kỳ |
| Phân tích là code | Mọi thao tác dữ liệu được mô tả bằng code và cấu hình; quản lý phiên bản cho dữ liệu, cấu hình và code | Lưu SQL, cấu hình pipeline trên Git, không sửa tay trên môi trường thật |
| Điều phối và tái lập | Điều phối từ đầu tới cuối; môi trường thử nghiệm tách biệt, dễ tạo, dễ huỷ | Chạy thử trên bản sao trước khi đưa lên môi trường thật (production) |
| Chất lượng là trên hết | Tự động phát hiện bất thường và lỗ hổng bảo mật; giám sát liên tục chất lượng và hiệu năng | Kiểm thử dữ liệu ở mọi bước, cảnh báo ngay khi có lỗi |
| Tinh gọn như sản xuất | Ưu tiên đơn giản, tái sử dụng, rút ngắn thời gian chu kỳ | Dùng lại mô hình dữ liệu chung, đo thời gian từ yêu cầu tới khi giao |
Quy trình DataOps gồm những bước nào?
IBM mô tả vòng đời DataOps gồm 5 giai đoạn. Điểm quan trọng là chúng tạo thành vòng lặp: kết quả giám sát quay về làm đầu vào cho lần cải tiến tiếp theo.
1. Thu nạp dữ liệu (ingest)
Gom dữ liệu thô từ phần mềm bán hàng, kế toán, CRM, tệp Excel về kho dữ liệu (data warehouse) hoặc hồ dữ liệu (data lake), kèm kiểm tra sơ bộ: dữ liệu đến đúng giờ, số dòng không bất thường.
2. Điều phối (orchestrate)
Chạy các tác vụ làm sạch, biến đổi, ghép bảng theo đúng thứ tự và lịch. Tác vụ trước lỗi thì tác vụ sau phải dừng, không âm thầm chạy tiếp với dữ liệu hỏng.
3. Kiểm thử (validate)
Kiểm thử tự động tính đầy đủ, nhất quán, chính xác: mã khách hàng không trống, doanh thu không âm, tổng chi tiết khớp tổng hoá đơn.
4. Triển khai (deploy)
Đưa dữ liệu đã qua kiểm thử tới dashboard, báo cáo, API hay mô hình học máy, tự động qua CI/CD để có thể quay lui khi cần.
5. Giám sát (monitor)
Theo dõi pipeline chạy đúng giờ, dữ liệu còn mới, có bất thường không. Cảnh báo phải tới người phụ trách trước khi người dùng thấy lỗi.
DataOps khác DevOps, MLOps, data engineering và data governance thế nào?
Năm khái niệm này hay bị dùng lẫn. Bảng dưới tóm tắt theo cách hiểu phổ biến:
| Khái niệm | Đối tượng chính | Câu hỏi trả lời | Đầu ra điển hình | Quan hệ với DataOps |
|---|---|---|---|---|
| DataOps | Pipeline dữ liệu và sản phẩm dữ liệu | Làm sao giao dữ liệu đúng, nhanh, ổn định? | Bảng dữ liệu, báo cáo, dashboard đáng tin cậy | Chính nó |
| DevOps | Phần mềm, ứng dụng | Làm sao phát hành phần mềm nhanh và ổn định? | Bản phát hành ứng dụng | DataOps mượn CI/CD, tự động hoá, văn hoá cộng tác từ DevOps |
| MLOps | Mô hình học máy | Làm sao đưa mô hình vào vận hành và giữ độ chính xác? | Mô hình đang chạy, được theo dõi suy giảm (drift) | MLOps dùng dữ liệu do DataOps cung cấp; hai bên cùng thuộc nhóm XOps |
| Data engineering (kỹ thuật dữ liệu) | Hạ tầng và pipeline | Xây pipeline và kho dữ liệu thế nào? | Pipeline, mô hình dữ liệu | Data engineering là “xây”, DataOps là cách “xây và vận hành” có kỷ luật |
| Data governance (quản trị dữ liệu) | Chính sách, quyền, trách nhiệm | Ai được dùng dữ liệu nào, theo quy tắc gì? | Chính sách, từ điển dữ liệu, phân quyền | Governance đặt luật; DataOps tự động hoá việc tuân thủ luật đó trong pipeline |
DataOps và DevOps: giống và khác ở đâu?
Giống nhau: cùng đề cao tự động hoá, kiểm thử liên tục, môi trường tách biệt và cộng tác. Khác nhau: phần mềm chỉ đổi khi code đổi, còn dữ liệu đổi mỗi ngày dù code giữ nguyên. Vì thế DataOps phải kiểm thử cả code lẫn chính dữ liệu. Người dùng của DataOps cũng gồm nhiều nhân sự nghiệp vụ không biết lập trình.
DataOps và MLOps: có cần cả hai không?
Nếu mới dùng dữ liệu cho báo cáo, DataOps là đủ. Khi đưa mô hình học máy vào vận hành, bạn cần thêm MLOps để quản lý huấn luyện, phiên bản mô hình và theo dõi suy giảm. MLOps không thay được DataOps: dữ liệu đầu vào lỗi thì mô hình tốt mấy cũng sai. Với dự án AI có dữ liệu gán nhãn, chất lượng nhãn cũng thuộc chuỗi này, xem bài gán nhãn dữ liệu (data annotation) là gì.
DataOps cần những thành phần công nghệ nào?
Không có “phần mềm DataOps” duy nhất. Hệ thống DataOps thường ghép từ sáu nhóm công cụ. Công cụ nêu dưới đây là ví dụ mã nguồn mở phổ biến, mô tả theo tài liệu chính thức, không phải khuyến nghị mua sắm.
Quản lý phiên bản (version control)
Mọi SQL, script, cấu hình pipeline nằm trên Git và được xem lại qua yêu cầu hợp nhất (pull request). Với chính dữ liệu, lakeFS cho phép thao tác kiểu Git như tạo nhánh, quay lui trên kho dữ liệu.
Điều phối luồng công việc (orchestration)
Apache Airflow tự giới thiệu là nền tảng mã nguồn mở để phát triển, lập lịch và giám sát luồng công việc như pipeline dữ liệu chạy theo lịch hoặc theo sự kiện. Luồng công việc viết bằng Python nên được quản lý phiên bản như code.
Biến đổi dữ liệu theo chuẩn kỹ thuật phần mềm
dbt cho phép viết câu lệnh SQL SELECT để tạo mô hình dữ liệu theo mô-đun, mang thực hành của kỹ thuật phần mềm vào phân tích: quản lý phiên bản, kiểm thử, tài liệu hoá, CI/CD.
Kiểm thử dữ liệu (data testing)
Great Expectations (GX Core) là thư viện Python để kiểm định dữ liệu. Đơn vị cơ bản là “expectation”, tức một khẳng định có thể kiểm chứng về dữ liệu, ví dụ “cột email không rỗng”. dbt cũng có sẵn kiểm thử không rỗng, không trùng.
CI/CD cho dữ liệu
Tích hợp và triển khai liên tục (continuous integration/continuous delivery) cho dữ liệu nghĩa là: mỗi thay đổi được tự động chạy trên môi trường thử với dữ liệu mẫu, qua kiểm thử rồi mới được gộp. Có thể dùng chính công cụ CI/CD của đội phần mềm.
Quan sát dữ liệu (data observability) và truy vết nguồn gốc (data lineage)
Data observability là khả năng thấy “sức khoẻ” của dữ liệu để biết sớm khi dữ liệu sai, hỏng ở đâu. Thuật ngữ do Barr Moses đặt ra năm 2019, với 5 trụ cột hay được trích dẫn: độ mới (freshness), chất lượng (quality), khối lượng (volume), cấu trúc (schema) và nguồn gốc (lineage). Về truy vết, OpenLineage là chuẩn mở để thu thập và phân tích lineage giữa các hệ thống.
Một đội DataOps gồm những vai trò nào?
Ở doanh nghiệp nhỏ, một người có thể kiêm nhiều vai; ở doanh nghiệp lớn, mỗi vai có thể là một nhóm.
- Kỹ sư dữ liệu (data engineer): xây, duy trì pipeline và kho dữ liệu.
- Kỹ sư phân tích (analytics engineer): viết mô hình dữ liệu, định nghĩa chỉ số, kiểm thử.
- Chuyên viên phân tích dữ liệu (data analyst): làm báo cáo, trả lời câu hỏi kinh doanh, báo khi thấy số liệu lạ.
- Kỹ sư DataOps hoặc kỹ sư nền tảng (platform engineer): dựng CI/CD, môi trường thử, giám sát, cảnh báo.
- Chủ sở hữu sản phẩm dữ liệu (data product owner): quyết định ưu tiên, nói thay người dùng nghiệp vụ.
- Người phụ trách dữ liệu (data steward): giữ định nghĩa, chất lượng, quyền truy cập cho từng miền dữ liệu.
Lợi ích của DataOps với doanh nghiệp là gì?
- Rút ngắn thời gian từ yêu cầu tới dữ liệu dùng được nhờ thay đổi nhỏ, kiểm thử tự động.
- Ít lỗi tới tay người dùng. Lỗi bị chặn ở kiểm thử hoặc báo động sớm qua giám sát.
- Tin vào con số. Một định nghĩa chỉ số, một nguồn sự thật, truy được nguồn gốc.
- Giảm phụ thuộc cá nhân. Quy trình nằm trong code và tài liệu, không nằm trong đầu một người.
- Nền móng cho AI: dữ liệu ổn định, có phiên bản để huấn luyện và vận hành mô hình.
- Dễ tuân thủ. Có nhật ký thay đổi, phân quyền và lineage để giải trình khi kiểm tra.
Áp dụng DataOps gặp những thách thức gì?
- Thay đổi văn hoá khó hơn mua công cụ. Thói quen sửa tay, gửi tệp Excel qua lại không tự mất.
- Thiếu người có kỹ năng giao thoa giữa dữ liệu và kỹ thuật phần mềm.
- Hệ thống cũ khó tự động hoá: phần mềm không có API, dữ liệu xuất tay.
- Chọn quá nhiều công cụ cùng lúc, tạo thêm một “rừng” công cụ cần bảo trì.
- Chưa có tiêu chuẩn chung, mỗi tổ chức phải tự điều chỉnh.
- Khó chứng minh giá trị sớm nếu không đo chỉ số trước và sau khi áp dụng.
Doanh nghiệp vừa và nhỏ nên áp dụng DataOps theo lộ trình nào?
Bạn không cần đội lớn hay nền tảng đắt tiền để bắt đầu. Lộ trình dưới ưu tiên làm ít mà chắc.
- Chọn một pipeline đau nhất. Thường là báo cáo doanh thu, tồn kho hoặc công nợ, thứ mà sai một lần là cả ban giám đốc biết.
- Đo hiện trạng: mất bao lâu để có báo cáo, mỗi tháng sai mấy lần, sửa mất bao lâu.
- Đưa mọi thứ lên Git. SQL, script, cấu hình. Cấm sửa tay trên môi trường thật.
- Viết 5–10 kiểm thử dữ liệu quan trọng nhất. Không rỗng, không trùng, khớp tổng, dữ liệu đến đúng giờ.
- Tự động hoá lịch chạy và cảnh báo. Pipeline lỗi thì người phụ trách nhận tin nhắn ngay.
- Thống nhất định nghĩa chỉ số. “Doanh thu” là trước hay sau chiết khấu, có tính đơn huỷ không. Ghi vào tài liệu chung.
- Mở rộng dần sang pipeline khác, rồi mới tính tới CI/CD đầy đủ và observability.
Ví dụ minh hoạ, không phải doanh nghiệp có thật. Một chuỗi 15 cửa hàng mỹ phẩm ghép tay doanh thu từ tệp Excel mỗi sáng, có tuần sai vì tệp bị đổi cột. Sau bước 1–5, dữ liệu kéo thẳng từ phần mềm bán hàng, có kiểm thử “đủ 15 cửa hàng”, “không có doanh thu âm”, lỗi được báo cho kỹ sư trước giờ làm. Khi sai, cả đội biết sai ở bước nào.
Lưu ý: DataOps là một phần của chuyển đổi số chứ không đứng riêng. Nếu doanh nghiệp chưa số hoá dữ liệu gốc hoặc chưa có phần mềm ghi nhận giao dịch, hãy giải quyết bước đó trước. Xem thêm bài chuyển đổi số (digital transformation) là gì.
Đo hiệu quả DataOps bằng những chỉ số nào?
Chọn 4–6 chỉ số, đo trước khi bắt đầu và theo dõi hằng tháng. Ngưỡng mục tiêu tuỳ doanh nghiệp.
| Chỉ số | Ý nghĩa | Cách đo |
|---|---|---|
| Thời gian chu kỳ (cycle time) | Từ lúc có yêu cầu tới khi dữ liệu, báo cáo được giao | Ngày tạo yêu cầu so với ngày triển khai |
| Tần suất triển khai | Đội giao thay đổi thường xuyên đến đâu | Số lần triển khai mỗi tuần hoặc tháng |
| Số sự cố dữ liệu | Lỗi dữ liệu tới tay người dùng | Số phiếu báo lỗi dữ liệu mỗi tháng |
| Thời gian phát hiện và khắc phục | Lỗi được biết và sửa nhanh cỡ nào | Từ lúc lỗi xảy ra tới khi phát hiện, và tới khi sửa xong |
| Tỷ lệ pipeline chạy đúng hạn | Dữ liệu có sẵn đúng lúc cần không | Số lần hoàn thành trước giờ cam kết chia tổng số lần chạy |
| Độ phủ kiểm thử | Bao nhiêu bảng quan trọng có kiểm thử | Số bảng có kiểm thử chia tổng số bảng quan trọng |
Những hiểu lầm phổ biến về DataOps
- “DataOps là một công cụ”: sai. Không đổi cách làm việc thì mua nền tảng nào cũng không thành DataOps.
- “DataOps chỉ là DevOps cho dữ liệu”: chưa đủ. DataOps phải xử lý dữ liệu biến động liên tục, nhiều nguồn, nhiều người dùng không chuyên kỹ thuật.
- “Chỉ doanh nghiệp lớn mới cần”: doanh nghiệp nhỏ có vài báo cáo quan trọng vẫn hưởng lợi từ Git, kiểm thử và cảnh báo.
- “Làm DataOps là bỏ data governance”: ngược lại, DataOps giúp thực thi các quy tắc governance một cách tự động.
- “Tự động hoá hết là xong”: tự động hoá một quy trình sai chỉ làm lỗi lan nhanh hơn. Kiểm thử và phản hồi mới là cốt lõi.
Câu hỏi thường gặp
DataOps là viết tắt của từ gì?
Là viết tắt của data operations, tạm dịch là vận hành dữ liệu, đặt theo mẫu DevOps (development và operations).
DataOps có phải là một vị trí công việc không?
DataOps trước hết là phương pháp, nhưng nhiều nơi tuyển kỹ sư DataOps (DataOps engineer) phụ trách tự động hoá, CI/CD, kiểm thử và giám sát pipeline dữ liệu.
Quy trình DataOps gồm mấy bước?
Theo cách mô tả của IBM, gồm 5 bước lặp liên tục: thu nạp, điều phối, kiểm thử, triển khai và giám sát.
DataOps và DevOps khác nhau như thế nào?
DevOps tối ưu việc phát hành phần mềm, còn DataOps tối ưu việc cung cấp dữ liệu. DataOps phải kiểm thử cả code lẫn dữ liệu, vì dữ liệu thay đổi hằng ngày ngay cả khi code không đổi.
DataOps và MLOps khác nhau như thế nào?
DataOps lo dữ liệu đúng và kịp lúc. MLOps lo mô hình học máy được huấn luyện, triển khai và theo dõi, dựa trên dữ liệu DataOps cung cấp.
Học DataOps cần biết gì trước?
Nên nắm SQL, một ngôn ngữ lập trình như Python, kiến thức về kho dữ liệu, Git và khái niệm CI/CD. Sau đó học thêm điều phối luồng công việc, kiểm thử dữ liệu và giám sát.
Doanh nghiệp nhỏ có cần mua nền tảng DataOps trả phí không?
Không bắt buộc. Có thể bắt đầu bằng Git, công cụ mã nguồn mở và một bộ kiểm thử nhỏ cho pipeline quan trọng nhất. Chỉ cân nhắc nền tảng trả phí khi quy mô và số pipeline tăng lên.