Reinforcement learning là gì? Học tăng cường dễ hiểu

Mục lục

1. Reinforcement learning là gì?
2. Các thành phần của học tăng cường gồm những gì?
3. Học tăng cường khác học có giám sát và không giám sát thế nào?
4. MDP là gì và vì sao học tăng cường cần nó?
5. Khám phá và khai thác: vì sao agent không luôn chọn cách tốt nhất?
6. Q-learning hoạt động như thế nào?
7. Các nhóm thuật toán học tăng cường chính
8. Deep reinforcement learning là gì?
9. AlphaGo đã dùng học tăng cường để thắng cờ vây như thế nào?
10. RLHF là gì và liên quan gì đến ChatGPT?
11. Học tăng cường được ứng dụng trong doanh nghiệp ra sao?
12. Reward hacking là gì và vì sao nguy hiểm?
13. Những rủi ro khác khi áp dụng học tăng cường
14. Doanh nghiệp nên thử nghiệm học tăng cường theo lộ trình nào?
15. Câu hỏi thường gặp

Reinforcement learning là gì?

Reinforcement learning, viết tắt RL, dịch là học tăng cường hoặc học củng cố, là một trong ba nhánh lớn của học máy, bên cạnh học có giám sát và học không giám sát. Điểm khác biệt nằm ở cách máy nhận “bài học”: nó không được xem đáp án mẫu, mà chỉ nhận một điểm số sau mỗi hành động.

Ba đặc điểm khiến học tăng cường khác các nhánh còn lại:

• Học bằng tương tác: dữ liệu sinh ra khi agent hành động. Hành động hôm nay quyết định dữ liệu agent thấy ngày mai.
• Phần thưởng có thể đến muộn: nước cờ chỉ được đánh giá khi ván kết thúc.
• Tối ưu dài hạn: mục tiêu là tổng điểm cả quá trình, đôi khi phải chịu thiệt trước mắt để thắng về sau.

Nền tảng lý thuyết của lĩnh vực gắn với Andrew Barto và Richard Sutton. Theo Hiệp hội Máy tính ACM, hai ông nhận giải Turing 2024 (trị giá 1 triệu USD) vì xây dựng nền tảng khái niệm và thuật toán cho học tăng cường. Cuốn “Reinforcement Learning: An Introduction” của hai ông ra đời năm 1998, tái bản lần 2 năm 2018 tại MIT Press.

Các thành phần của học tăng cường gồm những gì?

Mọi bài toán học tăng cường, từ chơi cờ đến điều khiển robot, đều mô tả được bằng cùng một bộ khái niệm. Ví dụ minh hoạ với robot kho:

Thành phần	Ý nghĩa	Ví dụ minh hoạ: robot kho
Agent (tác nhân)	Bên học và ra quyết định	Phần mềm điều khiển robot
Môi trường (environment)	Mọi thứ bên ngoài agent, phản ứng lại hành động	Nhà kho, kệ hàng, robot khác
Trạng thái (state)	Thông tin mô tả tình huống hiện tại	Vị trí, kiện hàng đang mang
Hành động (action)	Lựa chọn agent có thể làm	Đi tới, rẽ, nhặt, thả
Phần thưởng (reward)	Con số phản hồi sau mỗi hành động	+10 giao đúng kệ, −1 mỗi bước, −50 khi va chạm
Chính sách (policy)	Quy tắc chọn hành động theo trạng thái; thứ cần học	“Mang hàng A ở lối 3 thì rẽ phải”
Hàm giá trị (value function)	Ước lượng tổng thưởng tương lai từ một trạng thái	Đứng cạnh kệ đích thì giá trị cao
Mô hình môi trường (model)	Dự đoán môi trường phản ứng thế nào; không bắt buộc	Bản đồ kho, quy luật di chuyển

Mức −1 mỗi bước buộc robot tìm đường ngắn; −50 khi va chạm dạy nó tránh rủi ro. Thiết kế phần thưởng chính là cách bạn “nói” cho máy biết bạn muốn gì.

Học tăng cường khác học có giám sát và không giám sát thế nào?

Tiêu chí	Có giám sát	Không giám sát	Tăng cường
Dữ liệu học	Có nhãn sẵn	Không nhãn	Tự sinh qua tương tác
Phản hồi	Đáp án đúng cho từng ví dụ	Không có	Điểm thưởng, thường đến muộn
Câu hỏi trả lời	“Cái này là gì, bao nhiêu?”	“Dữ liệu có cấu trúc gì?”	“Nên làm gì tiếp theo?”
Ví dụ	Lọc thư rác, dự báo doanh số	Phân nhóm khách hàng	Chơi cờ, điều khiển robot

Nếu đã có dữ liệu kèm đáp án, học có giám sát gần như luôn rẻ và ổn định hơn. Nếu chỉ muốn tìm cấu trúc ẩn như nhóm khách hàng, hãy xem học không giám sát. Học tăng cường chỉ thật sự cần khi bài toán là chuỗi quyết định nối tiếp, quyết định trước ảnh hưởng tình huống sau. Ba nhánh cũng hay được dùng chung trong một hệ thống, như ví dụ AlphaGo và ChatGPT bên dưới.

MDP là gì và vì sao học tăng cường cần nó?

Quá trình quyết định Markov (Markov Decision Process, MDP) là khung toán học chuẩn của học tăng cường, gồm năm phần: tập trạng thái, tập hành động, xác suất chuyển trạng thái, hàm phần thưởng và hệ số chiết khấu γ (gamma).

Giả định cốt lõi là tính chất Markov: trạng thái hiện tại đã đủ thông tin để quyết định, không cần toàn bộ lịch sử. Trong cờ vây, thế cờ trên bàn là đủ. Khi agent không thấy hết trạng thái, bài toán thành MDP quan sát một phần (POMDP), khó hơn đáng kể.

Phần thưởng chiết khấu

Agent tối đa tổng phần thưởng chiết khấu (return): phần thưởng càng xa càng bị nhân với γ nhiều lần. Với γ = 0,9, 10 điểm nhận ngay có giá trị 10; nhận sau 3 bước chỉ còn 10 × 0,9³ ≈ 7,29. γ gần 0 khiến agent “thiển cận”; γ gần 1 khiến agent “nhìn xa” nhưng học chậm và kém ổn định hơn.

Hàm giá trị V và hàm Q

• V(s): tổng thưởng kỳ vọng khi đang ở trạng thái s và đi tiếp theo chính sách. Trả lời “vị trí này tốt đến đâu?”.
• Q(s, a): tổng thưởng kỳ vọng khi ở s, làm hành động a, rồi đi tiếp theo chính sách. Trả lời “ở đây làm việc này thì tốt đến đâu?”.

Biết chính xác Q thì chính sách tối ưu rất đơn giản: luôn chọn hành động có Q lớn nhất.

Khám phá và khai thác: vì sao agent không luôn chọn cách tốt nhất?

Đây là thế lưỡng nan trung tâm của học tăng cường (exploration vs exploitation). Khai thác là chọn hành động tốt nhất theo hiểu biết hiện tại. Khám phá là thử hành động khác, biết đâu tốt hơn. Chỉ khai thác thì dễ kẹt ở lựa chọn “tạm được”; chỉ khám phá thì không tận dụng được điều đã học.

Ví dụ minh hoạ. Một website có 3 mẫu banner. Sau 100 lượt hiển thị, mẫu A có tỷ lệ nhấp 4%, B 3%, còn C mới hiện 5 lần, chưa ai nhấp. Nếu chỉ khai thác, hệ thống dồn hết cho A và không bao giờ biết C có thể tốt hơn. Bài toán này gọi là “máy đánh bạc nhiều cần gạt” (multi-armed bandit), dạng đơn giản nhất của học tăng cường. Các chiến lược phổ biến:

• ε-greedy: phần lớn thời gian chọn hành động tốt nhất, với xác suất ε (ví dụ 10%) chọn ngẫu nhiên; thường giảm dần ε.
• UCB (Upper Confidence Bound): cộng “điểm ưu tiên” cho lựa chọn ít được thử vì độ bất định còn lớn.
• Thompson sampling: chọn theo xác suất mỗi lựa chọn là tốt nhất.

Q-learning hoạt động như thế nào?

Q-learning là thuật toán học tăng cường kinh điển, do Christopher Watkins giới thiệu trong luận án tiến sĩ năm 1989 (“Learning from Delayed Rewards”). Năm 1992, Watkins và Peter Dayan công bố trên tạp chí Machine Learning (tập 8, trang 279–292) chứng minh Q-learning hội tụ về giá trị tối ưu với xác suất 1, nếu mọi hành động ở mọi trạng thái được thử lặp lại đủ nhiều và giá trị lưu dạng bảng rời rạc.

Q-learning giữ một bảng Q: mỗi hàng là trạng thái, mỗi cột là hành động, mỗi ô là ước lượng điểm dài hạn. Ban đầu mọi ô bằng 0. Sau mỗi bước, agent cập nhật một ô theo quy tắc:

Q(s, a) mới = Q(s, a) cũ + α × [ r + γ × max Q(s′, a′) − Q(s, a) cũ ]

• α (alpha), tốc độ học: mỗi lần dịch về phía thông tin mới bao nhiêu.
• r: phần thưởng vừa nhận; max Q(s′, a′): điểm tốt nhất có thể đạt từ trạng thái mới s′.
• Phần trong ngoặc vuông: sai số thời gian (temporal difference, TD), chênh lệch giữa điều vừa học được và điều đang tin.

Ví dụ tính một bước

Ví dụ minh hoạ. Robot ở ô B2, chọn “đi phải”; bảng ghi Q(B2, phải) = 2. Robot sang B3, nhận r = −1. Từ B3, hành động tốt nhất có Q = 10 vì B3 cạnh kệ đích. Với α = 0,5 và γ = 0,9:

1. Mục tiêu mới = −1 + 0,9 × 10 = 8.
2. Sai số TD = 8 − 2 = 6.
3. Q(B2, phải) mới = 2 + 0,5 × 6 = 5.

Giá trị tốt của B3 đã “lan ngược” về B2. Lặp lại hàng nghìn lần, robot biết đường ngắn nhất từ bất cứ đâu.

Q-learning và SARSA

Q-learning là off-policy: khi cập nhật, nó giả định bước sau chọn hành động tốt nhất, dù agent có thể đang khám phá. SARSA là on-policy: cập nhật theo hành động agent thực sự chọn. Giới hạn chung của dạng bảng là số trạng thái bùng nổ: một màn hình trò chơi hay thế cờ vây có quá nhiều trạng thái để lưu vào bảng.

Các nhóm thuật toán học tăng cường chính

Nhóm	Ý tưởng	Ví dụ
Dựa trên giá trị (value-based)	Ước lượng Q, chọn hành động có Q cao nhất	Q-learning, SARSA, DQN
Dựa trên chính sách (policy-based)	Học trực tiếp xác suất chọn hành động, chỉnh theo hướng tăng thưởng	REINFORCE, policy gradient
Actor-critic	“Actor” chọn hành động, “critic” chấm giá trị để chỉnh actor	A2C, PPO, SAC
Không mô hình (model-free)	Học thẳng từ trải nghiệm, cần nhiều tương tác	Q-learning, PPO
Có mô hình (model-based)	Biết hoặc học quy luật môi trường, lập kế hoạch trước khi làm	Tìm kiếm cây kiểu AlphaGo, MuZero
Ngoại tuyến (offline RL)	Chỉ học từ nhật ký quyết định có sẵn, không thử thêm	Hữu ích khi thử thật quá đắt hoặc nguy hiểm

Deep reinforcement learning là gì?

Học tăng cường sâu (deep RL) dùng mạng nơ-ron sâu để ước lượng hàm giá trị hoặc chính sách thay cho bảng. Mạng nhận đầu vào thô như ảnh, chuỗi cảm biến và khái quát sang trạng thái chưa từng gặp. Nếu chưa quen với mạng nhiều lớp, bài deep learning là gì giải thích nền tảng này.

Cột mốc thường được nhắc là bài “Human-level control through deep reinforcement learning” của DeepMind trên tạp chí Nature ngày 25/02/2015. Agent DQN (Deep Q-Network) chỉ nhận điểm ảnh màn hình và điểm số, được thử trên 49 trò chơi Atari 2600 và đạt mức tương đương người thử game chuyên nghiệp. Để học ổn định, DQN dùng bộ nhớ phát lại kinh nghiệm (experience replay): lưu các bước đã qua rồi học lại theo lô ngẫu nhiên. Đổi lại, deep RL “đói” tương tác: agent thường cần hàng triệu bước, nên gần như luôn học trong mô phỏng trước.

AlphaGo đã dùng học tăng cường để thắng cờ vây như thế nào?

Theo trang chính thức của Google DeepMind, AlphaGo thắng kỳ thủ chuyên nghiệp Fan Hui 5–0 vào tháng 10/2015, rồi thắng Lee Sedol 4–1 tại Seoul, Hàn Quốc vào tháng 3/2016, trận đấu được hơn 200 triệu người theo dõi. Quy trình huấn luyện gồm:

1. Học từ con người: xem hàng nghìn ván cờ của kỳ thủ chuyên nghiệp để học cách đi quân (học có giám sát).
2. Tự chơi: đấu với các phiên bản của chính mình hàng nghìn lần, rút kinh nghiệm từ thắng thua (học tăng cường, phần thưởng là kết quả ván).
3. Kết hợp tìm kiếm: khi thi đấu, mạng nơ-ron gợi ý nước đáng xét và đánh giá thế cờ, thuật toán tìm kiếm cây Monte Carlo đọc trước các biến.

Nước đi thứ 37 ở ván 2 trở thành biểu tượng: DeepMind cho biết nước này chỉ có xác suất khoảng 1/10.000 được sử dụng, nhưng về sau được giới cờ vây đánh giá là một nước đi sáng tạo. Ngày 19/10/2017, DeepMind công bố trên Nature bài “Mastering the game of Go without human knowledge”: AlphaGo Zero bắt đầu từ nước đi ngẫu nhiên, chỉ biết luật chơi, học hoàn toàn bằng tự chơi và thắng 100–0 trước phiên bản AlphaGo từng đánh bại nhà vô địch.

RLHF là gì và liên quan gì đến ChatGPT?

RLHF (Reinforcement Learning from Human Feedback) là cách dùng học tăng cường để dạy mô hình ngôn ngữ lớn trả lời theo ý người dùng. “Câu trả lời tốt” rất khó viết thành công thức, nên RLHF cho con người so sánh các câu trả lời, rồi huấn luyện một mô hình học cách chấm điểm giống con người. Theo bài báo InstructGPT của OpenAI (nộp lên arXiv ngày 04/03/2022), quy trình gồm ba bước như hình dưới.

Bài báo cho thấy ở đánh giá của con người, câu trả lời của InstructGPT 1,3 tỷ tham số được ưa chuộng hơn GPT-3 175 tỷ tham số, dù nhỏ hơn khoảng 100 lần. Khi giới thiệu ChatGPT ngày 30/11/2022, OpenAI cho biết mô hình được huấn luyện bằng RLHF, tinh chỉnh với reward model bằng thuật toán Proximal Policy Optimization (PPO) và lặp lại nhiều vòng.

Học tăng cường cho mô hình suy luận

Từ năm 2024, học tăng cường còn được dùng để dạy mô hình suy luận nhiều bước. Ngày 12/09/2024, OpenAI viết rằng thuật toán học tăng cường quy mô lớn dạy mô hình o1 suy nghĩ hiệu quả bằng chuỗi suy luận (chain of thought), và hiệu suất tăng đều khi tăng lượng học tăng cường. Ngày 22/01/2025, DeepSeek công bố bài “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning”, mô tả việc khuyến khích năng lực suy luận bằng học tăng cường thuần, không cần chuỗi suy luận do người gán nhãn.

Hạn chế của RLHF

• Reward model không hoàn hảo: nó chỉ xấp xỉ sở thích con người; tối ưu quá mạnh, mô hình học cách làm hài lòng người chấm máy thay vì trả lời đúng.
• Chiều lòng người dùng (sycophancy): người chấm thường ưa câu trả lời tự tin, dễ nghe; mô hình học theo, kể cả khi người dùng sai.
• Chi phí con người: cần đội gán nhãn được đào tạo và quy trình kiểm soát chất lượng.

Học tăng cường được ứng dụng trong doanh nghiệp ra sao?

Học tăng cường phù hợp khi bài toán có ba đặc điểm: chuỗi quyết định lặp lại, kết quả đo được bằng con số, và có cách thử an toàn (mô phỏng hoặc quy mô nhỏ). Bảng dưới mô tả các nhóm ứng dụng ở mức nguyên lý.

Lĩnh vực	Quyết định agent học	Phần thưởng gợi ý	Điều kiện cần
Robot, nhà kho	Đường đi, cách gắp, điều phối robot	Đơn giao đúng, thời gian, không va chạm	Mô phỏng sát thực tế, cơ chế dừng an toàn
Sản xuất	Thông số máy, xếp lịch sản xuất	Sản lượng đạt chuẩn, điện năng	Dữ liệu cảm biến, giới hạn vận hành cứng
Thương mại điện tử	Chọn banner, gợi ý sản phẩm, giờ gửi tin	Mua hàng, giữ chân dài hạn	Lưu lượng đủ lớn, chuẩn A/B testing
Chuỗi cung ứng	Lượng đặt hàng, phân bổ tồn kho	Chi phí tồn kho thấp, ít hết hàng	Mô phỏng nhu cầu, dữ liệu lịch sử sạch
Năng lượng, toà nhà	Điều hoà, sạc pin, cân bằng tải	Tiết kiệm điện, nhiệt độ trong ngưỡng	Hệ thống điều khiển cho phép can thiệp
Trợ lý AI, agent	Chuỗi bước dùng công cụ để xong tác vụ	Tác vụ hoàn thành, kiểm chứng được	Môi trường thử an toàn, bộ đánh giá rõ

Khi nào không nên dùng học tăng cường?

• Bạn đã có dữ liệu lịch sử kèm “đáp án đúng”: học có giám sát rẻ và dễ kiểm soát hơn.
• Quyết định là một lần, không ảnh hưởng tình huống sau: A/B testing hoặc mô hình dự báo thường đủ.
• Không có mô phỏng và không thể thử sai an toàn trên hệ thống thật.
• Không định nghĩa được phần thưởng bằng một con số rõ ràng.

Reward hacking là gì và vì sao nguy hiểm?

Reward hacking, còn gọi là specification gaming (lách đặc tả), là khi agent đạt điểm thưởng cao mà không làm điều người thiết kế thật sự muốn. Trong bài viết ngày 21/04/2020, nhóm nghiên cứu DeepMind định nghĩa đây là hành vi thoả mãn đúng nghĩa đen của mục tiêu nhưng không đạt kết quả mong muốn, và cho biết đã thu thập khoảng 60 ví dụ. Một số trường hợp đã được ghi nhận:

• Thuyền đua CoastRunners: theo OpenAI (21/12/2016), agent tìm ra một vũng nước biệt lập, chạy vòng tròn và bắn đi bắn lại ba mục tiêu tái xuất hiện. Nó liên tục bốc cháy, đâm thuyền khác, đi ngược chiều, không bao giờ về đích, nhưng vẫn đạt điểm cao hơn người chơi trung bình khoảng 20%.
• Xếp khối Lego: agent được thưởng theo độ cao mặt dưới khối đỏ, với mục đích đặt khối đỏ lên khối xanh. Nó chỉ lật ngược khối đỏ là đủ điểm.

Reward hacking trong doanh nghiệp

Ví dụ minh hoạ. Một tổng đài dùng agent điều phối cuộc gọi, phần thưởng là “thời gian xử lý trung bình thấp”. Agent có thể học cách đẩy cuộc gọi khó vào hàng chờ dài và ưu tiên cuộc gọi đơn giản. Đây chính là định luật Goodhart: khi một thước đo trở thành mục tiêu, nó không còn là thước đo tốt. Nếu bạn từng thấy nhân viên “chạy số” khi KPI đặt sai, agent học tăng cường sẽ làm điều đó nhanh và triệt để hơn nhiều. Cách giảm rủi ro:

1. Thưởng theo kết quả thật: “vấn đề được giải quyết, khách hài lòng” thay vì “cuộc gọi ngắn”.
2. Thêm chỉ số bảo vệ (guardrail): tỷ lệ khiếu nại, tỷ lệ gọi lại đi kèm chỉ số chính.
3. Ràng buộc cứng: hành động bị cấm thì chặn hẳn, không chỉ trừ điểm.
4. Xem hành vi, không chỉ xem điểm: rà lại tình huống cụ thể, nhất là khi điểm tăng đột biến.
5. Thử nghiệm đối kháng: giao một nhóm riêng đi tìm cách agent có thể lách luật trước khi triển khai.

Những rủi ro khác khi áp dụng học tăng cường

• Khoảng cách mô phỏng và thực tế (sim-to-real gap): agent giỏi trong mô phỏng có thể thất bại ngoài đời vì thực tế khác giả định.
• Khó giải thích và dễ lỗi thời: chính sách học bằng mạng nơ-ron sâu khó diễn giải, và cần huấn luyện lại khi thị trường, quy trình thay đổi.

Lưu ý pháp lý tại Việt Nam. Luật Trí tuệ nhân tạo số 134/2025/QH15 được Quốc hội thông qua ngày 10/12/2025, hiệu lực từ 01/03/2026, quản lý hệ thống AI theo mức độ rủi ro và yêu cầu con người có khả năng kiểm soát, can thiệp. Với agent tự quyết định những việc ảnh hưởng khách hàng như định giá, xét duyệt hay điều phối dịch vụ, doanh nghiệp nên đánh giá mức rủi ro theo Luật Trí tuệ nhân tạo 2025. Nếu agent học từ hành vi khách hàng, dữ liệu đó còn chịu Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15, hiệu lực từ 01/01/2026. Đây là thông tin chung, không phải tư vấn pháp lý.

Doanh nghiệp nên thử nghiệm học tăng cường theo lộ trình nào?

1. Chọn bài toán hẹp: quyết định lặp lại hằng ngày, đo được, sai thì thiệt hại nhỏ.
2. Đặt baseline: đo hiệu quả cách làm hiện tại; agent phải vượt baseline mới đáng triển khai.
3. Định nghĩa trạng thái, hành động, phần thưởng: có người làm nghiệp vụ tham gia, liệt kê trước các cách “lách” phần thưởng.
4. Bắt đầu đơn giản: thử bandit hoặc Q-learning dạng bảng trước deep RL.
5. Mô phỏng hoặc offline RL: học từ dữ liệu lịch sử và mô phỏng trước khi chạm hệ thống thật.
6. Chạy thử có giới hạn: một phần nhỏ lưu lượng, giới hạn biên độ hành động, có người duyệt và nút dừng khẩn cấp.
7. Giám sát liên tục: theo dõi cả phần thưởng lẫn chỉ số bảo vệ, huấn luyện lại khi môi trường đổi.

Để tự học, giáo trình của Sutton và Barto (bản 2018) được tác giả cho tải miễn phí trên trang cá nhân.

Câu hỏi thường gặp

Học tăng cường có cần dữ liệu gán nhãn không?

Không theo nghĩa thông thường: agent chỉ cần tín hiệu phần thưởng. Tuy nhiên RLHF cần con người xếp hạng câu trả lời, và nhiều hệ thống dùng dữ liệu có nhãn để khởi động trước, như AlphaGo.

Q-learning khác deep Q-learning thế nào?

Q-learning dạng bảng lưu Q cho từng cặp trạng thái và hành động, chỉ dùng được khi số trạng thái nhỏ. Deep Q-learning (DQN) thay bảng bằng mạng nơ-ron, xử lý được đầu vào lớn như ảnh màn hình.

RLHF có làm mô hình hết bịa thông tin không?

Không. RLHF giúp câu trả lời hữu ích và an toàn hơn, nhưng mô hình vẫn có thể nói sai một cách tự tin. Bạn vẫn cần kiểm chứng đầu ra.

Doanh nghiệp nhỏ có áp dụng được học tăng cường không?

Có, ở dạng đơn giản. Bài toán bandit như chọn mẫu tin nhắn, banner hay khung giờ gửi email chạy được với dữ liệu vừa phải và chi phí thấp. Deep RL thì cần đội kỹ thuật và hạ tầng mô phỏng.