Trả lời nhanh: Data lakehouse kết hợp kho dữ liệu thô giá rẻ với khả năng quản lý và truy vấn có cấu trúc của data warehouse. Mục tiêu là bớt sao chép dữ liệu giữa hai hệ.
Điểm chính
- Data lakehouse kết hợp kho dữ liệu thô giá rẻ với khả năng quản lý và truy vấn có cấu trúc của data warehouse. Mục tiêu là bớt sao chép dữ liệu giữa hai hệ.
- Data lakehouse kết hợp kho dữ liệu thô giá rẻ với khả năng quản lý và truy vấn có cấu trúc của data warehouse. Mục tiêu là bớt sao chép dữ liệu giữa hai hệ.
- Chỉ đưa vào việc khi đo được đúng sai trên một mẫu nhỏ và có người chịu trách nhiệm.
- Đừng mở rộng khi chưa có ngưỡng dừng viết từ trước.
- Thuộc chuyên mục Dữ liệu & phân tích. Chỉ mở rộng sau khi một phạm vi nhỏ đã đo được.
Mục lục
data lakehouse là gì
data lakehouse thuộc Dữ liệu & phân tích. Data lakehouse kết hợp kho dữ liệu thô giá rẻ với khả năng quản lý và truy vấn có cấu trúc của data warehouse. Mục tiêu là bớt sao chép dữ liệu giữa hai hệ.
Người đọc bài này nên ra về với một câu trả lời dùng được: data lakehouse giải quyết việc gì, không giải quyết việc gì, và ai chịu trách nhiệm khi kết quả sai. Định nghĩa để trang trí slide thì chưa đủ.
data lakehouse hoạt động ra sao?
Data lakehouse kết hợp kho dữ liệu thô giá rẻ với khả năng quản lý và truy vấn có cấu trúc của data warehouse. Mục tiêu là bớt sao chép dữ liệu giữa hai hệ.
Hình dung theo bốn bước, không cần công cụ đắt tiền ở bước đầu:
- Viết việc cần làm bằng một câu, có đầu vào và đầu ra.
- Lấy một mẫu nhỏ dữ liệu hoặc một tình huống thật, không lấy cả hệ thống.
- Cho data lakehouse chạy trên mẫu đó và ghi chỗ sai.
- Chỉ mở rộng khi chỗ sai đã có người sửa và có cách đo.
Khi nào nên dùng data lakehouse?
Chỉ đưa vào việc khi đo được đúng sai trên một mẫu nhỏ và có người chịu trách nhiệm.
Nên dùng khi ba điều cùng đúng. Việc lặp hoặc đủ lớn để làm tay không xuể. Có dữ liệu hoặc có chứng từ để đối chiếu. Có một người được giao quyền dừng lại nếu kết quả không đạt.
Chưa nên dùng khi đội chưa thống nhất thế nào là đúng. Thêm công cụ vào một quy trình đang cãi nhau về định nghĩa sẽ tạo ra một hệ thống sai nhanh hơn, không phải một hệ thống tốt hơn.
| Câu hỏi | Nếu trả lời có | Nếu trả lời không |
|---|---|---|
| Việc có lặp không? | Đáng xem data lakehouse | Hãy viết quy trình trước |
| Có cách biết sai không? | Có thể đo thí điểm | Chưa đưa vào vận hành |
| Có người chịu trách nhiệm không? | Gắn tên người đó | Đừng giao cho công cụ |
| Phạm vi có hẹp không? | Thí điểm được | Chia nhỏ rồi hãy làm |
Ví dụ trong công việc
Một đội đang làm trong dữ liệu & phân tích muốn dùng data lakehouse. Họ không mua nền tảng ngay. Họ chọn một tuần dữ liệu cũ, nhờ một người thành thạo làm đối chứng, và so với kết quả của data lakehouse. Chỗ khớp thì ghi lại điều kiện. Chỗ lệch thì không "sửa cho đẹp" mà tìm vì sao lệch.
Chỉ đưa vào việc khi đo được đúng sai trên một mẫu nhỏ và có người chịu trách nhiệm. Sau hai tuần, họ chỉ giữ những trường hợp đã khớp. Phần còn lại vẫn do người làm. Đó là cách đưa data lakehouse vào việc mà không đánh đổi trách nhiệm.
Người phụ trách cần chuẩn bị gì?
Trước khi dùng data lakehouse trong việc thật, người phụ trách nên viết một trang giấy: việc nào được làm, việc nào cấm, dữ liệu nào được xem, và ai được dừng thí điểm. Trang này quan trọng hơn tài khoản phần mềm. Không có trang này thì mỗi người hiểu data lakehouse một kiểu, và kết quả không so được.
Nên hẹn một ngày đọc kết quả, không để thí điểm kéo dài không hạn. Đến ngày đó, chỉ có hai lối: giữ vì số liệu đạt ngưỡng đã viết, hoặc dừng vì không đạt. Không có lối thứ ba là "cho thêm thời gian" nếu ngưỡng chưa được viết lại từ đầu.
Dễ nhầm và rủi ro
Đừng mở rộng khi chưa có ngưỡng dừng viết từ trước.
Ba nhầm lẫn hay gặp:
- Coi tên gọi là giải pháp. Đổi tên dự án thành data lakehouse không đổi kết quả.
- Đo bằng số lần dùng, không đo bằng số lần đúng. Một công cụ được mở nhiều mà quyết định vẫn sai thì chưa có ích.
- Bỏ người kiểm tra vì bảng điều khiển màu xanh. Màu xanh chỉ đúng với chỉ số đã chọn. Chỉ số chọn sai thì xanh vẫn là sai.
Câu hỏi thường gặp
data lakehouse có thay người làm việc đó không?
Không. data lakehouse xử lý phần lặp hoặc phần tính toán đã có quy tắc. Người vẫn chọn quy tắc, xử lý ngoại lệ và chịu trách nhiệm với khách hàng, với số liệu hoặc với hồ sơ.
Doanh nghiệp nhỏ có dùng được không?
Có, nếu bắt đầu bằng một việc nhỏ và một công cụ sẵn có, không bằng một dự án nhiều tháng. Chỉ đưa vào việc khi đo được đúng sai trên một mẫu nhỏ và có người chịu trách nhiệm.
Làm sao biết đã dùng đúng?
Có một mẫu đối chứng do người làm, và kết quả của data lakehouse khớp với mẫu đó trên các trường đã chọn. Không khớp thì chưa được gọi là xong. Đừng mở rộng khi chưa có ngưỡng dừng viết từ trước.
Có nên đưa vào quy trình chính ngay không?
Chưa. Hãy để ở thí điểm cho đến khi số lần phải sửa nằm trong giới hạn đội đã viết từ trước. Giới hạn viết sau khi thấy kết quả thì luôn được nới, và thí điểm mất nghĩa.
data lakehouse khác gì với việc đang làm bằng bảng tính hoặc bằng kinh nghiệm?
Data lakehouse kết hợp kho dữ liệu thô giá rẻ với khả năng quản lý và truy vấn có cấu trúc của data warehouse. Mục tiêu là bớt sao chép dữ liệu giữa hai hệ. Khác ở chỗ cách làm phải lặp lại được và kiểm được, không phụ thuộc vào một người nhớ trong đầu. Nếu chưa kiểm được thì giữ cách cũ song song, đừng tắt cách cũ trong tuần đầu.