Trả lời nhanh: Multimodal AI (AI đa phương thức) là hệ thống trí tuệ nhân tạo tiếp nhận và kết hợp nhiều loại dữ liệu cùng lúc như văn bản, hình ảnh, âm thanh, video để hiểu ngữ cảnh đầy đủ hơn. Đầu ra có thể là chữ, giọng nói, hình ảnh hoặc hành động. GPT-4o và Gemini là ví dụ quen thuộc.
Điểm chính
- “Phương thức” (modality) là một kiểu dữ liệu: chữ, ảnh, tiếng nói, video, tín hiệu cảm biến. AI đa phương thức xử lý và liên kết nhiều kiểu với nhau.
- Cơ chế chung: mã hoá từng loại dữ liệu thành vectơ, căn chỉnh vào không gian chung, hợp nhất thông tin rồi sinh đầu ra.
- Có hai hướng xây dựng chính: ghép nhiều mô hình riêng hoặc một mô hình đa phương thức gốc. Hướng thứ hai ít mất ngữ cảnh và nhanh hơn.
- Gartner dự báo 40% giải pháp AI tạo sinh sẽ là đa phương thức vào năm 2027, từ mức 1% năm 2023.
- Rủi ro riêng: ảo giác khi đọc ảnh, câu lệnh độc hại giấu trong ảnh, chi phí token cho video, âm thanh và quy định về dữ liệu sinh trắc học, gắn nhãn nội dung AI.
Mục lục
- Multimodal AI là gì?
- Vì sao AI cần xử lý được nhiều loại dữ liệu?
- Multimodal AI hoạt động như thế nào?
- Các kiểu kiến trúc multimodal AI phổ biến
- Những thách thức kỹ thuật cốt lõi của multimodal AI
- Multimodal AI khác gì generative AI, LLM và computer vision?
- Ứng dụng của multimodal AI trong doanh nghiệp
- Ưu điểm và hạn chế của multimodal AI
- Khi nào doanh nghiệp nên dùng multimodal AI?
- Các bước triển khai multimodal AI cho một bài toán
- Pháp lý tại Việt Nam cần lưu ý khi dùng AI đa phương thức
- Câu hỏi thường gặp
Multimodal AI là gì?
Multimodal AI, hay trí tuệ nhân tạo đa phương thức, là nhóm mô hình học máy có khả năng xử lý và tích hợp thông tin từ nhiều phương thức. IBM định nghĩa đây là các mô hình học máy có thể xử lý và tích hợp thông tin từ nhiều phương thức, gồm văn bản, hình ảnh, âm thanh, video và các dạng tín hiệu cảm nhận khác.
Con người hiểu thế giới bằng mắt, tai và ngôn ngữ cùng lúc. Một mô hình chỉ đọc chữ giống người bị bịt mắt và bịt tai. Multimodal AI “mở” thêm các giác quan đó cho máy và, quan trọng hơn, dạy máy liên hệ chúng với nhau.
Bạn sẽ gặp các tên gọi gần nhau: AI đa phương thức, AI đa mô thức, mô hình ngôn ngữ lớn đa phương thức (multimodal LLM, MLLM) và mô hình thị giác và ngôn ngữ (vision-language model, VLM). VLM chỉ là một nhánh, chuyên kết hợp ảnh với chữ.
Phương thức (modality) gồm những loại nào?
- Văn bản: câu hỏi, email, hợp đồng, mã nguồn.
- Hình ảnh: ảnh chụp, bản quét tài liệu, ảnh y khoa, biểu đồ.
- Âm thanh: giọng nói, tiếng máy móc, tiếng ồn môi trường.
- Video: chuỗi khung hình theo thời gian, thường kèm âm thanh.
- Cảm biến và chuỗi thời gian: nhiệt độ, độ rung, GPS, lidar, ảnh nhiệt, ảnh độ sâu.
Ví dụ, ImageBind do nhóm nghiên cứu của Meta công bố tháng 05/2023 liên kết 6 phương thức vào một không gian chung: hình ảnh, văn bản, âm thanh, ảnh độ sâu, ảnh nhiệt và dữ liệu cảm biến quán tính (IMU). Nhóm tác giả cho thấy chỉ cần dữ liệu ghép cặp với ảnh là đủ để “buộc” các phương thức lại, không cần đủ mọi tổ hợp.
Một ví dụ dễ hình dung
Ví dụ minh hoạ. Khách gửi bộ phận bảo hành ảnh chiếc máy lọc nước có đèn báo đỏ, đoạn ghi âm 20 giây tiếng máy kêu lạ và dòng chữ “máy nhà tôi bị thế này từ hôm qua”. AI chỉ đọc chữ nhận một câu mơ hồ và phải hỏi lại. AI đa phương thức đọc được mã lỗi trên đèn báo, nhận ra tiếng bơm chạy không tải, rồi đối chiếu tài liệu hướng dẫn để gợi ý nguyên nhân và bước kiểm tra. Giá trị nằm ở việc nối ba mẩu thông tin rời rạc thành một bức tranh.
Vì sao AI cần xử lý được nhiều loại dữ liệu?
Phần lớn thông tin doanh nghiệp không nằm sẵn ở dạng chữ. Nó nằm trong ảnh chứng từ, cuộc gọi tổng đài, video camera, bản vẽ kỹ thuật, ảnh chụp màn hình lỗi. Hệ thống chỉ hiểu chữ buộc con người “phiên dịch” mọi thứ sang chữ trước, vừa tốn công vừa làm rơi chi tiết.
Các phương thức còn bổ sung cho nhau. Câu “tôi ổn” trên giấy là trung tính; nói bằng giọng run thì mang nghĩa khác. Ảnh xe móp đầu cho biết mức hư hại, văn bản cho biết thời gian, địa điểm.
Ghép nhiều mô hình đơn lẻ cũng chậm và mất thông tin. Khi giới thiệu GPT-4o ngày 13/05/2024, OpenAI cho biết chế độ trò chuyện bằng giọng nói trước đó là chuỗi ba mô hình riêng, độ trễ trung bình 2,8 giây với GPT-3.5 và 5,4 giây với GPT-4; mô hình trung tâm chỉ thấy chữ nên không nhận ra giọng điệu, nhiều người nói hay tiếng ồn nền. GPT-4o (chữ “o” là “omni”) nhận trực tiếp âm thanh, phản hồi trung bình trong 320 mili giây.
Theo thông cáo của Gartner ngày 09/09/2024, tỷ lệ giải pháp AI tạo sinh đa phương thức được dự báo tăng từ 1% năm 2023 lên 40% năm 2027. Gartner lưu ý nhiều mô hình hiện chỉ xử lý hai hoặc ba phương thức, và ghép các mô hình đơn phương thức thường gây độ trễ, giảm độ chính xác.
Multimodal AI hoạt động như thế nào?
Thiết kế mỗi hệ thống một khác, nhưng hầu hết đi qua các lớp xử lý như Hình 1.
Mã hoá từng phương thức thành vectơ
Máy tính chỉ làm việc với con số. Mỗi phương thức có một bộ mã hoá (encoder) riêng: văn bản được tách token như trong mô hình ngôn ngữ; hình ảnh được chia thành các mảnh nhỏ (patch) rồi đưa qua mạng tích chập (CNN) hoặc Vision Transformer (ViT); âm thanh được cắt thành khung ngắn, chuyển sang phổ tần số. Kết quả là các vectơ đặc trưng, còn gọi là embedding, mỗi vectơ là bản tóm tắt bằng số của một mẩu dữ liệu.
Căn chỉnh vào một không gian chung
Căn chỉnh (alignment) là dạy mô hình đặt những thứ cùng nghĩa ở gần nhau: ảnh con mèo gần cụm từ “con mèo”, khung hình người mở miệng khớp với âm tiết được nói đúng lúc đó.
Ví dụ kinh điển là CLIP của OpenAI (arXiv, 26/02/2021), huấn luyện trên 400 triệu cặp ảnh và chú thích từ internet bằng cách học tương phản: kéo cặp đúng lại gần, đẩy cặp sai ra xa. Nhờ vậy CLIP phân loại ảnh zero-shot trên ImageNet ngang mô hình ResNet-50 gốc mà không dùng 1,28 triệu ảnh huấn luyện có nhãn của bộ dữ liệu này.
Hợp nhất thông tin (fusion)
| Chiến lược | Cách làm | Ưu điểm | Hạn chế |
|---|---|---|---|
| Hợp nhất sớm (early fusion) | Ghép đặc trưng các phương thức ngay từ đầu vào một mô hình chung | Học được tương tác sâu | Cần dữ liệu đồng bộ tốt; khó xử lý khi thiếu một nguồn |
| Hợp nhất giữa (intermediate fusion) | Mã hoá riêng một phần, kết hợp ở các lớp giữa, thường qua attention | Cân bằng linh hoạt và độ sâu; phổ biến ở mô hình hiện đại | Kiến trúc phức tạp, tốn tài nguyên |
| Hợp nhất muộn (late fusion) | Mỗi phương thức một mô hình, gộp kết quả cuối (bỏ phiếu, trung bình có trọng số) | Dễ xây, dễ thay từng phần, chạy được khi thiếu nguồn | Bỏ lỡ liên hệ tinh tế giữa các phương thức |
Sinh đầu ra
Mô hình lõi, thường là Transformer hoặc mô hình ngôn ngữ lớn, suy luận và tạo kết quả. Đầu ra có thể khác loại đầu vào: nhận ảnh trả chữ (mô tả, trích xuất dữ liệu), nhận chữ trả ảnh, nhận tiếng trả tiếng, hoặc trả lệnh điều khiển cho robot, phần mềm.
Các kiểu kiến trúc multimodal AI phổ biến
Cùng gọi là “đa phương thức” nhưng bên trong có thể rất khác nhau.
- Ghép nối nhiều mô hình (pipeline): ví dụ tổng đài chuyển giọng nói thành chữ, đưa cho mô hình ngôn ngữ, rồi đọc câu trả lời bằng công cụ tổng hợp giọng nói. Dễ lắp ráp, dễ kiểm tra từng khâu, nhưng mất thông tin và cộng dồn độ trễ.
- Bộ mã hoá kép (dual encoder): như CLIP, hai bộ mã hoá ảnh và chữ chung một không gian vectơ. Không trò chuyện được nhưng rất mạnh cho tìm kiếm ảnh bằng chữ và ngược lại.
- Bộ mã hoá ảnh nối vào mô hình ngôn ngữ lớn: LLaVA (arXiv, 17/04/2023) dùng bộ mã hoá CLIP ViT-L/14, mô hình ngôn ngữ Vicuna và một ma trận chiếu có thể huấn luyện để đổi đặc trưng ảnh thành “token hình ảnh”. Nhóm tác giả dùng GPT-4 bản chỉ đọc chữ để sinh 158 nghìn mẫu hội thoại kèm ảnh.
- Đa phương thức gốc (natively multimodal): huấn luyện trên nhiều phương thức ngay từ đầu. Khi giới thiệu Gemini ngày 06/12/2023, Google nhấn mạnh Gemini được huấn luyện trước trên nhiều phương thức từ đầu, khác cách thông thường là huấn luyện từng thành phần rồi ghép lại. GPT-4o cũng theo hướng này.
| Kiến trúc | Phù hợp cho | Điểm cần cân nhắc |
|---|---|---|
| Ghép nối nhiều mô hình | Hệ thống cần ghi log, kiểm soát và thay thế từng khâu | Mất giọng điệu, cảm xúc; độ trễ cộng dồn |
| Bộ mã hoá kép | Tìm kiếm ảnh, gợi ý sản phẩm, phân loại ảnh | Không sinh nội dung |
| Bộ mã hoá + LLM | Hỏi đáp về ảnh, đọc biểu đồ, trích xuất dữ liệu; chạy nội bộ bằng mô hình mở | Dễ “bịa” chi tiết nhỏ; phụ thuộc chất lượng bộ mã hoá ảnh |
| Đa phương thức gốc | Trợ lý giọng nói thời gian thực, phân tích video dài | Khó giải thích từng khâu; thường dùng qua API nhà cung cấp |
Những thách thức kỹ thuật cốt lõi của multimodal AI
Bài tổng quan “Multimodal Machine Learning: A Survey and Taxonomy” của Baltrušaitis, Ahuja và Morency (Đại học Carnegie Mellon, 05/2017) cho rằng cách chia hợp nhất “sớm” và “muộn” là chưa đủ, và đề xuất năm thách thức:
| Thách thức | Câu hỏi | Ví dụ |
|---|---|---|
| Biểu diễn (representation) | Mô tả dữ liệu khác loại bằng con số mà vẫn giữ thông tin bổ sung? | Vectơ ảnh hoá đơn và vectơ chữ “hoá đơn giá trị gia tăng” phải “nói cùng ngôn ngữ” |
| Chuyển dịch (translation) | Đổi từ phương thức này sang phương thức khác? | Mô tả ảnh bằng lời, tạo ảnh từ câu chữ |
| Căn chỉnh (alignment) | Phần nào ứng với phần nào? | Khớp câu thoại với đúng đoạn video; ô “Tổng tiền” với con số trên ảnh |
| Hợp nhất (fusion) | Kết hợp nhiều nguồn để dự đoán? | Ảnh xe tai nạn và lời khai để ước tính bồi thường |
| Đồng học (co-learning) | Phương thức nhiều dữ liệu có giúp phương thức ít dữ liệu? | Kho ảnh chú thích tiếng Anh hỗ trợ mô hình hiểu ảnh kèm tiếng Việt |
Năm 2022, Liang, Zadeh và Morency cập nhật khung này thành sáu thách thức: biểu diễn, căn chỉnh, suy luận, sinh nội dung, chuyển giao và định lượng. Hai điểm mới đáng chú ý với doanh nghiệp là suy luận (kết hợp nhiều bước chứng cứ từ nhiều nguồn) và định lượng (đo xem mô hình thực sự dựa vào phương thức nào, có bị lệch không).
Multimodal AI khác gì generative AI, LLM và computer vision?
Các khái niệm này mô tả những trục khác nhau: mô hình xử lý loại dữ liệu nào, và mô hình phân tích hay tạo mới.
| Khái niệm | Trả lời câu hỏi | Quan hệ với multimodal AI |
|---|---|---|
| Multimodal AI | Xử lý bao nhiêu loại dữ liệu? | Nhiều loại cùng lúc, có liên kết |
| Generative AI | Có tạo nội dung mới không? | Có thể vừa tạo sinh vừa đa phương thức (GPT-4o), hoặc đa phương thức mà không tạo sinh (CLIP) |
| LLM | Học chủ yếu từ ngôn ngữ quy mô lớn? | Thường là “bộ não” của mô hình đa phương thức; nhận thêm ảnh, âm thanh thì gọi là MLLM |
| Computer vision | Máy hiểu ảnh, video thế nào? | Là một phương thức thành phần |
Để có nền tảng, bạn có thể đọc thêm về AI tạo sinh và thị giác máy tính. Lưu ý thêm: “multimodal” (đa phương thức) khác “multi-model” (nhiều mô hình). Hệ thống dùng năm mô hình chỉ đọc chữ vẫn là đơn phương thức.
Ứng dụng của multimodal AI trong doanh nghiệp
Các kịch bản dưới đây là ví dụ minh hoạ phổ biến, không gắn với doanh nghiệp cụ thể.
Xử lý chứng từ và tài liệu
Hoá đơn, hợp đồng, tờ khai thường là ảnh chụp có bảng, con dấu, chữ viết tay. OCR truyền thống đọc chữ rồi dùng quy tắc tách trường. Mô hình đa phương thức nhìn được cả bố cục: con số nào thuộc cột “Thành tiền”, dòng nào là tổng cộng. Đây là hướng phát triển chính của xử lý tài liệu thông minh (IDP). Với tiếng Việt, cần kiểm tra kỹ khả năng đọc dấu thanh và chữ viết tay.
Chăm sóc khách hàng và tổng đài
Khách vừa nói, vừa gửi ảnh sản phẩm lỗi, ảnh chụp màn hình. Hệ thống đọc cả ba để phân loại yêu cầu, gợi ý câu trả lời cho nhân viên hoặc tự xử lý ca đơn giản. Mô hình nghe trực tiếp âm thanh còn nhận ra tín hiệu mà bản chép lời bỏ sót, như hai người nói chồng lên nhau.
Bán lẻ, sản xuất và các lĩnh vực khác
- Bán lẻ: tìm kiếm bằng ảnh chụp; tự sinh mô tả, thuộc tính sản phẩm từ ảnh và bảng thông số; kiểm duyệt ảnh, video đánh giá.
- Sản xuất: kết hợp ảnh kiểm tra bề mặt với dữ liệu nhiệt độ, độ rung và nhật ký ca để tìm nguyên nhân lỗi; kỹ thuật viên chụp bảng điều khiển và hỏi “đèn này báo gì?”.
- Y tế: tóm tắt hồ sơ từ ảnh X-quang, kết quả xét nghiệm và ghi chép lâm sàng. Kết quả AI chỉ hỗ trợ; chẩn đoán thuộc về người có chuyên môn.
- Giáo dục, truyền thông: tóm tắt bài giảng video từ cả lời giảng lẫn slide; tạo phụ đề, mô tả ảnh cho người khiếm thị; tìm đoạn video theo chủ đề trong kho lưu trữ.
Ưu điểm và hạn chế của multimodal AI
| Ưu điểm | Hạn chế |
|---|---|
| Hiểu ngữ cảnh đầy đủ hơn | Cần dữ liệu ghép cặp, đồng bộ giữa các phương thức |
| Giao tiếp tự nhiên: nói, chụp, gõ đều được | Chi phí tính toán cao với video, âm thanh dài |
| Giảm số hệ thống rời rạc phải ghép nối | Khó giải thích kết luận khi nhiều nguồn đan xen |
| Mở ra tác vụ mới mà mô hình đơn lẻ không làm được | Bề mặt tấn công rộng hơn; dữ liệu ảnh, giọng nói thường là dữ liệu cá nhân |
Ảo giác và “bẫy chữ” trong ảnh
Mô hình có thể “nhìn thấy” thứ không có, đọc sai một chữ số trên hoá đơn hoặc tự tin mô tả chi tiết bị che khuất. Đây là một dạng ảo giác AI. Với dữ liệu tài chính, luôn cần bước đối chiếu (tổng các dòng phải bằng tổng tiền) hoặc người kiểm tra.
Chữ trong ảnh cũng có thể lấn át nội dung ảnh. Năm 2021, khi phân tích “nơ-ron đa phương thức” của CLIP, OpenAI cho thấy có thể khiến mô hình nhận nhầm ảnh con chó thành con heo đất bằng cách kích hoạt nơ-ron “tài chính”, vốn phản ứng với cả hình heo đất lẫn chuỗi “$$$”; ảnh chụp chữ viết tay cũng lừa được mô hình tương tự. Ở mức hệ thống, mục LLM01:2025 về prompt injection của OWASP cảnh báo kẻ xấu có thể giấu chỉ dẫn trong ảnh đi kèm đoạn văn bản vô hại, và tấn công xuyên phương thức khó phát hiện.
Lưu ý: Nếu cho khách tải ảnh, tài liệu lên rồi để AI tự hành động (gửi email, cập nhật dữ liệu, duyệt hồ sơ), hãy coi mọi nội dung trong file là không tin cậy: giới hạn quyền của AI, yêu cầu người xác nhận thao tác quan trọng và ghi nhật ký đầy đủ.
Chi phí: ảnh, âm thanh, video cũng tính bằng token
Theo tài liệu Gemini API của Google (cập nhật 23/09/2026): ảnh có cả hai chiều không quá 384 pixel tính 258 token, ảnh lớn hơn chia ô 768 × 768 pixel, mỗi ô 258 token; âm thanh 32 token mỗi giây; video ở chế độ xử lý tĩnh khoảng 263 token mỗi giây. Như vậy, một cuộc gọi 10 phút tương đương khoảng 19.200 token, một phút video khoảng 15.780 token, chưa tính câu hỏi và câu trả lời. Cách quy đổi khác nhau giữa nhà cung cấp và phiên bản, nên hãy đo trên dữ liệu thật. Có thể giảm chi phí bằng cách cắt đoạn im lặng, giảm độ phân giải ảnh khi không cần đọc chữ nhỏ, lấy mẫu ít khung hình hơn với video tĩnh.
Khi nào doanh nghiệp nên dùng multimodal AI?
Hãy cân nhắc khi phần lớn câu trả lời dưới đây là “có”:
- Dữ liệu quan trọng nằm trong ảnh, bản quét, âm thanh hoặc video.
- Nhân viên đang phải xem ảnh, nghe ghi âm rồi gõ lại thành chữ.
- Quyết định đúng cần đối chiếu nhiều nguồn cùng lúc.
- Người dùng muốn tương tác tự nhiên thay vì điền biểu mẫu dài.
- Có chỉ số đo được: tỷ lệ trích xuất đúng, thời gian xử lý, tỷ lệ chuyển cho người.
Chưa nên dùng khi dữ liệu đã có cấu trúc tốt, khi công cụ chuyên biệt rẻ hơn đã đủ chính xác (OCR cho mẫu biểu cố định, mã vạch), hoặc khi sai sót không thể chấp nhận mà chưa có cơ chế kiểm tra.
Các bước triển khai multimodal AI cho một bài toán
- Chọn quy trình hẹp, đo được, ví dụ trích xuất 12 trường từ ảnh hoá đơn đầu vào.
- Kiểm kê dữ liệu theo phương thức: số lượng, chất lượng, chủ sở hữu, có chứa dữ liệu cá nhân không.
- Lập bộ đánh giá vài trăm mẫu thật có đáp án, gồm cả ca khó: ảnh mờ, nghiêng, chữ viết tay, giọng địa phương.
- Thử nhiều phương án (API, mô hình mở chạy nội bộ, pipeline truyền thống) trên cùng bộ đánh giá; ghi độ chính xác, độ trễ, chi phí mỗi mẫu.
- Đặt người trong vòng lặp: mẫu dưới ngưỡng tin cậy hoặc sai quy tắc kiểm tra thì chuyển cho người.
- Vận hành có giám sát: theo dõi lỗi theo từng loại đầu vào, phát hiện khi camera, mẫu chứng từ hay nguồn âm thanh thay đổi.
Pháp lý tại Việt Nam cần lưu ý khi dùng AI đa phương thức
Vì làm việc trực tiếp với hình ảnh, giọng nói, video, multimodal AI chạm vào nhiều quy định hơn AI chỉ xử lý chữ. Tính đến tháng 10/2026:
- Luật Trí tuệ nhân tạo số 134/2025/QH15 (thông qua 10/12/2025, hiệu lực 01/03/2026). Điều 11 yêu cầu nội dung âm thanh, hình ảnh, video do AI tạo ra được đánh dấu ở định dạng máy đọc; âm thanh, hình ảnh, video mô phỏng ngoại hình, giọng nói người thật hoặc tái hiện sự kiện thực tế phải gắn nhãn dễ nhận biết; hệ thống tương tác trực tiếp phải cho người dùng biết họ đang nói chuyện với AI. Xem thêm bài Luật Trí tuệ nhân tạo 2025.
- Nghị định 142/2026/NĐ-CP (hiệu lực 01/05/2026) hướng dẫn hình thức gắn nhãn: trực tiếp trên nội dung, trong tiêu đề, mô tả, chú thích hoặc thông báo bằng âm thanh.
- Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 (hiệu lực 01/01/2026) có quy định riêng về dữ liệu sinh trắc học. Ảnh khuôn mặt, giọng nói dùng để nhận diện người cần đúng mục đích, có căn cứ pháp lý và biện pháp bảo vệ.
Nếu có hoạt động tại châu Âu: Điều 5 Đạo luật AI của EU (Quy định 2024/1689) cấm dùng AI suy đoán cảm xúc của một người tại nơi làm việc và cơ sở giáo dục, trừ mục đích y tế hoặc an toàn. Điều này đáng chú ý vì “nhận diện cảm xúc qua khuôn mặt và giọng nói” hay được quảng bá như ứng dụng nổi bật của AI đa phương thức.
Phần pháp lý giúp bạn nhận diện vấn đề, không phải tư vấn cho trường hợp cụ thể. Với dự án dùng dữ liệu khuôn mặt, giọng nói hoặc trong y tế, tài chính, giáo dục, hãy hỏi ý kiến chuyên gia pháp lý.
Câu hỏi thường gặp
Multimodal AI tiếng Việt gọi là gì?
Thường gọi là AI đa phương thức hoặc trí tuệ nhân tạo đa phương thức; một số tài liệu dùng “đa mô thức”. Mô hình chỉ kết hợp ảnh với chữ còn được gọi là mô hình thị giác và ngôn ngữ (VLM).
ChatGPT có phải là multimodal AI không?
Bản ra mắt tháng 11/2022 chỉ xử lý văn bản. Với GPT-4o (05/2024), OpenAI giới thiệu mô hình nhận bất kỳ tổ hợp nào của văn bản, âm thanh, hình ảnh, video và tạo được văn bản, âm thanh, hình ảnh. Mức hỗ trợ cụ thể tuỳ gói dịch vụ và phiên bản mô hình.
Multimodal AI có phải là AGI không?
Không. Xử lý được nhiều loại dữ liệu không đồng nghĩa với trí tuệ tổng quát ngang con người; đó chỉ là một năng lực nhiều người cho là cần có trên con đường tới AGI.
Doanh nghiệp nhỏ có cần tự huấn luyện mô hình đa phương thức không?
Hầu như không. Cách thực tế là dùng mô hình có sẵn qua API hoặc mô hình mã nguồn mở, tập trung vào câu lệnh, bộ đánh giá và quy trình kiểm tra. Chỉ tính đến tinh chỉnh khi mô hình có sẵn chưa đạt trên dữ liệu thật.
Multimodal AI có đọc được chữ viết tay tiếng Việt không?
Các mô hình lớn đọc tiếng Việt in khá tốt, nhưng chất lượng với chữ viết tay, ảnh mờ, dấu thanh nhỏ và giọng địa phương chênh lệch nhiều giữa các mô hình. Hãy đánh giá trên vài trăm mẫu thật của chính bạn, đừng dựa vào vài ảnh thử.
AI đa phương thức có nhận diện cảm xúc chính xác không?
Cần thận trọng. Biểu hiện khuôn mặt và giọng nói khác nhau theo người, văn hoá, hoàn cảnh nên suy đoán cảm xúc dễ sai; EU còn cấm dùng AI suy đoán cảm xúc tại nơi làm việc và trường học, trừ mục đích y tế hoặc an toàn.