Gán nhãn văn bản và âm thanh

Mục lục

1. Gán nhãn văn bản và âm thanh khác nhau ở những điểm nào?
2. Mỗi loại gồm những tác vụ gán nhãn nào?
3. Bên nào tốn công hơn?
4. Đo chất lượng: kappa hay WER, và con số nào đáng tin?
5. Quy trình gán nhãn âm thanh gồm những bước nào?
6. Dữ liệu cá nhân nằm ở đâu trong văn bản và âm thanh?
7. Khi nào chọn gán nhãn văn bản, khi nào âm thanh, khi nào cả hai?
8. Những lỗi thường gặp khi gán nhãn văn bản và âm thanh
9. Câu hỏi thường gặp

Hai việc này thường bị gộp vào một gói “gán nhãn dữ liệu”, nhưng người làm, công cụ, thước đo và chi phí khác nhau khá xa. Bài này so sánh trực tiếp để bạn biết dự án của mình thuộc loại nào, cần bao nhiêu người và kiểm chất lượng ra sao. Khái niệm chung về nghề gán nhãn đã có trong bài data annotation và nghề annotator, nên ở đây chỉ đi vào điểm khác biệt giữa văn bản và âm thanh.

Gán nhãn văn bản và âm thanh khác nhau ở những điểm nào?

Khác biệt gốc nằm ở “đơn vị” mà nhãn bám vào. Văn bản là chuỗi ký tự cố định: nhãn “tên người” gắn vào đoạn từ ký tự thứ 12 đến ký tự thứ 25 và đoạn đó không đổi dù ai đọc. Âm thanh là tín hiệu liên tục: nhãn gắn vào khoảng từ giây 4,12 đến giây 6,80, và ranh giới đó phụ thuộc người nghe đặt ở đâu.

Tiêu chí	Gán nhãn văn bản	Gán nhãn âm thanh
Đơn vị nhãn	Ký tự, từ, câu, cả tài liệu	Khoảng thời gian (mili giây), đoạn lời, người nói
Ranh giới	Cố định, kiểm bằng so khớp chuỗi	Mềm, cần dung sai (ví dụ lệch vài chục mili giây)
Tác vụ chính	Phân loại, nhận diện thực thể, quan hệ, cảm xúc, tóm tắt	Phiên âm, tách người nói, nhãn cảm xúc, sự kiện âm thanh
Thước đo bất đồng	Kappa, Krippendorff alpha, F1 trên span	WER giữa các bản phiên âm, sai lệch mốc thời gian
Công sức	Gần với tốc độ đọc	Gấp nhiều lần thời lượng file
Khó khăn riêng	Nghĩa mơ hồ, tiếng Việt khó tách từ	Ồn, nói chồng, giọng vùng miền, từ lóng
Rủi ro dữ liệu cá nhân	Che bằng cách thay chuỗi	Che bằng cách tắt tiếng đúng đoạn, giọng vẫn nhận ra được

Mỗi loại gồm những tác vụ gán nhãn nào?

Văn bản có nhiều kiểu nhãn hơn, còn âm thanh có ít kiểu nhưng mỗi kiểu đòi hỏi thao tác nặng hơn. Hình dưới phân loại các tác vụ bạn hay gặp.

Văn bản: nhãn nằm trên từng đoạn chữ

Nhận diện thực thể (NER) gắn nhãn cho các đoạn như tên người, món ăn, địa điểm. Một tài liệu về gán nhãn chuỗi cho tiếng Việt lấy ví dụ câu về bà bán bánh mì ở một phường, trong đó mỗi cụm được gán nhãn người, thực phẩm hoặc địa điểm. Phân loại ý định (intent) lại gắn một nhãn cho cả câu, ví dụ “hỏi phí”, “khiếu nại”, “đổi lịch”. Với doanh nghiệp, phần lớn nhu cầu là hai loại này, cộng thêm gán nhãn cảm xúc cho bình luận và đánh giá.

Tiếng Việt có một khó khăn riêng: dấu cách ngăn cách âm tiết chứ không ngăn cách từ. “Sinh viên” là một từ hai âm tiết, nên hướng dẫn gán nhãn phải quy định trước nhãn bám vào âm tiết hay từ, nếu không hai người sẽ tách khác nhau và chỉ số đồng thuận tụt ngay từ đầu.

Âm thanh: phiên âm chỉ là một lớp

Theo hướng dẫn về gán nhãn âm thanh của Kili Technology (2026), bản phiên âm nguyên văn chỉ đủ để tính tỷ lệ lỗi từ. Khi sản phẩm cần biết ai trong bốn người họp đã nói câu nào, hoặc cần đặt câu đó đúng vào một mốc thời gian chính xác, bản phiên âm không còn đủ làm dữ liệu chuẩn. Bản phiên âm nguyên văn chỉ hỗ trợ tính WER, còn nhu cầu biết người nói và mốc thời gian thì cần thêm nhãn. Vì vậy một dự án âm thanh thường có nhiều lớp nhãn chồng nhau: lời nói, người nói, thời điểm, và đôi khi cảm xúc hoặc tiếng nền như chuông điện thoại, tiếng cười.

Bên nào tốn công hơn?

Âm thanh tốn công hơn, vì bạn phải nghe theo thời gian thực chứ không thể lướt mắt. Cũng theo hướng dẫn của Kili, việc đánh dấu ranh giới người nói thủ công mất khoảng 15–30 lần thời lượng file. Nghĩa là một giờ ghi âm họp nhiều người có thể mất từ 15 đến 30 giờ công cho riêng lớp nhãn người nói. Đây là số của một nguồn, chưa phải chuẩn ngành, nên hãy đo bằng một lô nhỏ của chính bạn trước khi báo giá.

Văn bản không có hệ số cố định tương đương, vì tốc độ phụ thuộc độ dài đoạn và số loại nhãn. Gán nhãn phân loại một câu có thể rất nhanh, còn quan hệ giữa các thực thể trong hợp đồng dài thì chậm. Điểm đáng nhớ: văn bản chậm vì nội dung khó, âm thanh chậm vì phải nghe lại, kéo thanh thời gian và chỉnh ranh giới.

Đo chất lượng: kappa hay WER, và con số nào đáng tin?

Hai loại dữ liệu dùng hai thước đo khác nhau, nhưng cùng một nguyên tắc: để nhiều người gán nhãn cùng một mẫu rồi xem họ lệch nhau bao nhiêu.

Văn bản: hệ số đồng thuận

Với nhãn phân loại, bạn dùng kappa của Cohen (hai người) hoặc alpha của Krippendorff (nhiều người, nhiều kiểu thang). Theo một bài ACL Anthology về báo cáo điểm gán nhãn lỗi, thực hành phổ biến coi alpha từ 0,667 là chấp nhận được và từ 0,8 là đồng thuận mạnh. Với nhãn dạng đoạn (span) như NER, bạn nên tính thêm F1 giữa hai người, vì đồng ý “đây là tên người” nhưng lệch một từ ở biên vẫn là một bất đồng.

Đừng kỳ vọng con số tuyệt đối. Một phân tích tổng hợp của Bayerl và Paul trên 326 nghiên cứu gán nhãn ngôn ngữ cho thấy mức đồng thuận trung bình là 81% nhưng từng nghiên cứu dao động từ 13% đến 100%. Cùng nguồn đó cho thấy lĩnh vực gán nhãn là yếu tố ảnh hưởng đáng kể: phiên âm ngữ điệu đạt 86%, phiên âm ngữ âm đạt 75%. Nói cách khác, nhãn càng chủ quan thì ngưỡng đạt phải đặt thấp hơn và hướng dẫn phải chi tiết hơn.

Âm thanh: WER giữa người với người

Với phiên âm, thước đo là tỷ lệ lỗi từ (word error rate, WER) tính giữa hai bản chép. Điều ít bài nói tới là chính người cũng sai khác nhau. Kili dẫn nghiên cứu của Gref và cộng sự (2022): ba người chép lại cùng mười giờ phỏng vấn lịch sử tiếng Đức, lệch nhau từ 7,77% đến 9,54% WER, và nhóm nghiên cứu ước tính WER của con người khoảng 8,7%. Hệ quả thực tế: nếu mô hình của bạn đạt 9% WER trên bộ chuẩn do một người chép, chưa chắc nó kém hơn người.

Làm sạch nhãn có tác động đo được. Theo cùng nguồn, nghiên cứu LibriCrowd của Amazon dùng 100 giờ do 4.433 người làm cộng đồng chép, ban đầu sai 10,91% từ, rồi làm sạch hai lần. Hình dưới thể hiện kết quả.

Cùng nguồn cho biết gán lại theo độ tin cậy giảm lỗi 22%, còn bỏ phiếu theo từng từ giảm thêm 42%. Với văn bản, cơ chế tương tự là cho ba người gán nhãn và lấy đa số, hoặc giao riêng các câu bất đồng cho một người chủ trì phân xử.

Quy trình gán nhãn âm thanh gồm những bước nào?

Văn bản có thể bắt đầu gán ngay trong bảng tính hoặc công cụ web. Âm thanh cần xử lý đầu vào trước, vì file chất lượng kém sẽ khiến mọi người nghe khác nhau. Sơ đồ dưới là trình tự tiêu biểu cho dữ liệu ghi âm cuộc gọi.

1. Chuẩn hoá file: thống nhất định dạng và tần số lấy mẫu, tách kênh nếu cuộc gọi ghi hai kênh (khách và tổng đài viên riêng), loại file hỏng hoặc im lặng toàn bộ.
2. Cắt đoạn và tách người nói: chia theo lượt nói, ghi mốc bắt đầu và kết thúc. Quy định rõ cách xử lý đoạn nói chồng nhau, vì đây là chỗ hai người hay đặt ranh giới khác nhau.
3. Phiên âm và gắn nhãn: chép lời theo quy ước cố định về số đọc, từ viết tắt, tiếng đệm “ừ”, “ờ”, từ tiếng Anh xen vào câu tiếng Việt. Thêm nhãn tiếng ồn, tiếng cười nếu cần.
4. Kiểm chéo: chọn ngẫu nhiên một phần file cho người thứ hai chép độc lập, tính WER giữa hai bản và xem lỗi tập trung ở loại quy ước nào.

Trình tự chung của một dự án gán nhãn, từ viết hướng dẫn đến kiểm duyệt, được mô tả trong bài quy trình gán nhãn dữ liệu cho AI. Nếu dự án của bạn thiên về hình, hãy xem các loại gán nhãn hình ảnh để so với hai loại ở đây.

Dữ liệu cá nhân nằm ở đâu trong văn bản và âm thanh?

Cả hai đều chứa thông tin nhận diện, nhưng cách che khác nhau. Trong văn bản, bạn thay họ tên, số điện thoại, số căn cước, số tài khoản bằng ký hiệu giữ vai trò, ví dụ [TÊN], [SĐT], trước khi giao cho bên gán nhãn. Cách này giữ nguyên cấu trúc câu để mô hình vẫn học được. Các kỹ thuật che chung được nói trong bài data masking.

Với âm thanh, có hai lớp riêng. Thứ nhất là nội dung lời nói: khách đọc số thẻ hoặc địa chỉ nên bạn phải tìm đúng mốc thời gian rồi tắt tiếng hoặc chèn âm đệm đúng đoạn đó, thao tác này thường cần chính người nghe đánh dấu. Thứ hai là bản thân giọng nói, vốn có thể nhận ra một người và không che được bằng cách cắt đoạn. Vì vậy câu hỏi cần trả lời trước khi giao file là: lúc ghi âm, khách đã được báo mục đích nào, và mục đích huấn luyện AI hoặc giao bên thứ ba gán nhãn có nằm trong đó không. Đây là điểm áp dụng riêng của dữ liệu ghi âm tổng đài theo Luật Bảo vệ dữ liệu cá nhân.

Với tên, số điện thoại, số tài khoản xuất hiện trong văn bản, hãy tham khảo thêm bài về dữ liệu định danh để biết trường nào cần xử lý trước.

Khi nào chọn gán nhãn văn bản, khi nào âm thanh, khi nào cả hai?

Bạn không chọn theo sở thích mà theo dạng đầu vào của sản phẩm AI. Ví dụ minh hoạ: một ngân hàng muốn phân loại lý do khách gọi đến tổng đài.

• Chỉ gán nhãn văn bản: khi dữ liệu đã là chữ (email, chat, biên bản, đánh giá). Đây là lựa chọn rẻ nhất và dễ kiểm bằng kappa.
• Chỉ gán nhãn âm thanh: khi sản phẩm cần chính tín hiệu tiếng, ví dụ nhận dạng giọng nói tiếng Việt có giọng vùng miền, hoặc phát hiện sự kiện âm thanh.
• Cả hai, theo hai tầng: trong ví dụ trên, âm thanh được phiên âm trước, rồi văn bản phiên âm mới được gán nhãn ý định. Lỗi phiên âm sẽ lan sang tầng nhãn ý định, nên cần kiểm WER trước khi gán ý định.

Các mô hình đa phương thức xử lý chữ, tiếng và hình cùng lúc, nên nhu cầu gán nhãn song song tăng; xem thêm multimodal AI. Còn việc nhãn sai kéo mô hình sai theo được phân tích trong bài garbage in garbage out.

Những lỗi thường gặp khi gán nhãn văn bản và âm thanh

Văn bản

• Lệch biên span: một người gán “Nguyễn Văn An”, người kia chỉ gán “Văn An”. Cách xử lý: quy định có gồm họ, chức danh, đơn vị đo hay không, kèm ví dụ đúng và sai.
• Nhãn chồng nghĩa: “khiếu nại” và “phàn nàn” cùng tồn tại. Cách xử lý: gộp, hoặc viết tiêu chí tách rạch ròi bằng câu mẫu.
• Bỏ qua câu mơ hồ: thêm nhãn “không rõ” để câu khó không bị ép vào nhãn sai.

Âm thanh

• Quy ước chép không thống nhất: người chép “2025”, người chép “hai nghìn không trăm hai mươi lăm”, làm WER tăng giả. Cách xử lý: chuẩn hoá cách viết số và từ viết tắt rồi mới tính WER.
• Coi bộ chuẩn của một người là đúng tuyệt đối: theo nghiên cứu đã nêu, con người cũng lệch nhau gần 9% WER. Hãy cho một phần mẫu chép hai lần để biết trần chất lượng.
• Bỏ qua âm nền: đoạn có tiếng ồn nên được gắn cờ để huấn luyện riêng, không trộn lẫn với đoạn sạch.

Với cả hai loại, nếu nhãn từ nguồn cộng đồng, hãy cân nhắc bỏ phiếu theo nhiều người thay vì tin một bản chép. Muốn mở rộng bộ dữ liệu sau khi nhãn đã tốt, bạn có thể xem cách tăng cường mẫu trong bài data augmentation.

Câu hỏi thường gặp

Gán nhãn âm thanh có phải là phiên âm không?

Không hoàn toàn. Phiên âm chỉ là một lớp nhãn. Gán nhãn âm thanh còn gồm người nói, mốc thời gian, cảm xúc giọng và sự kiện âm. Nếu sản phẩm chỉ cần nội dung lời nói thì phiên âm là đủ, còn nếu cần biết ai nói câu nào lúc nào thì phải thêm các lớp còn lại.

Hệ số đồng thuận bao nhiêu thì chấp nhận được?

Theo thực hành được trích trong ACL Anthology, alpha của Krippendorff từ 0,667 trở lên là chấp nhận được và từ 0,8 là mạnh. Tuy nhiên ngưỡng nên đặt theo độ chủ quan của nhãn: nhãn cảm xúc hay ngữ điệu thường thấp hơn nhãn “có chứa số điện thoại”. Hãy viết ngưỡng trước khi chạy lô đầu tiên.

Có thể dùng máy phiên âm trước rồi để người sửa không?

Có thể, và đây là cách phổ biến để giảm công nghe chép. Hai rủi ro: người sửa dễ bỏ sót lỗi vì tin bản nháp, và lỗi hệ thống của máy (ví dụ sai ở tên riêng) bị lặp lại trong nhãn. Hãy lấy một mẫu cho người chép từ đầu để đối chiếu với bản sửa.

Thuê ngoài gán nhãn ghi âm tổng đài có được không?

Về kỹ thuật thì được, nhưng trước khi giao file bạn cần che các đoạn có số thẻ, địa chỉ, họ tên, và kiểm tra mục đích đã thông báo cho khách khi ghi âm. Giọng nói vẫn nhận diện được dù đã che nội dung, nên hợp đồng với bên nhận cần giới hạn quyền truy cập, nơi lưu và thời điểm xoá file.

Tiếng Việt có khó hơn tiếng Anh khi gán nhãn không?

Có hai điểm khó rõ rệt. Với văn bản, dấu cách tách âm tiết chứ không tách từ nên phải thống nhất đơn vị gán nhãn. Với âm thanh, giọng vùng miền và thanh điệu làm người nghe chép khác nhau, nên cần tài liệu quy ước và người kiểm duyệt quen vùng giọng của dữ liệu.