GPU cloud là gì?

Mục lục

1. GPU cloud là gì và khác gì GPU trong máy tính của bạn?
2. GPU cloud hoạt động thế nào?
3. Có những loại GPU cloud nào?
4. GPU cloud dùng vào việc gì trong doanh nghiệp?
5. Chọn GPU nào: VRAM quyết định trước tiên
6. Một lượt chạy GPU cloud diễn ra thế nào?
7. Ưu điểm và hạn chế của GPU cloud
8. GPU cloud khác gì cloud server thường và máy chủ GPU tự mua?
9. Khi nào nên và không nên thuê GPU cloud?
10. Checklist đánh giá nhà cung cấp GPU cloud
11. Câu hỏi thường gặp

GPU cloud là gì và khác gì GPU trong máy tính của bạn?

GPU (Graphics Processing Unit) ban đầu sinh ra để vẽ hình ảnh. Cấu trúc của nó gồm hàng nghìn lõi nhỏ làm cùng một phép tính trên nhiều dữ liệu cùng lúc. Nhờ vậy GPU rất hợp với phép nhân ma trận trong học sâu (deep learning), với dựng hình và với mô phỏng vật lý. CPU chỉ có ít lõi mạnh, hợp xử lý tuần tự và logic rẽ nhánh.

GPU cloud là dịch vụ cung cấp sức mạnh đó từ xa. Theo cách các nhà cung cấp mô tả, bạn truy cập GPU qua internet thay vì mua card vật lý, và trả tiền theo thời gian dùng thực tế. Về bản chất, đây là một nhánh của điện toán đám mây: thay vì thuê CPU và RAM, bạn thuê thêm bộ tăng tốc.

Điểm khác với việc cắm card vào máy bàn của bạn:

• Loại card. Card tiêu dùng (dòng RTX) và card trung tâm dữ liệu (A100, H100, L40S) khác nhau về VRAM, độ bền chạy liên tục 24/7 và khả năng nối nhiều card với nhau.
• Quy mô. Bạn có thể thuê 1 GPU để thử nghiệm, rồi thuê cụm 8 GPU trong một máy cho đợt huấn luyện. Máy bàn không làm được việc này.
• Trách nhiệm vận hành. Điện, làm mát, thay card hỏng, cập nhật firmware do nhà cung cấp lo. Bạn chỉ lo môi trường phần mềm và dữ liệu.

GPU cloud hoạt động thế nào?

Một yêu cầu thuê GPU đi qua nhiều lớp. Hiểu các lớp này giúp bạn biết vì sao cùng là “một GPU H100” mà hiệu năng và giá có thể khác nhau.

Lớp phần cứng và trung tâm dữ liệu

Máy chủ GPU thường chứa 4 hoặc 8 card nối với nhau bằng đường truyền riêng. Với H100, NVLink thế hệ 4 có băng thông 900 GB/s giữa các GPU, theo bảng thông số một nhà cung cấp trong nước công bố. Đường nối này quan trọng khi huấn luyện một mô hình trải trên nhiều card. Công suất cũng đáng kể: bảng thông số trên ghi mức tiêu thụ tối đa (TDP) của H100 là 700W, nên chỗ đặt phải có điện và làm mát đủ. Đây là lý do trung tâm dữ liệu hợp chuẩn là điều kiện nền của dịch vụ này.

Lớp ảo hoá: ba cách đưa GPU tới bạn

Đây là phần các bài phổ thông hay lướt qua. Có ba cách chính:

• Passthrough. Nguyên một card được gắn thẳng vào một máy ảo. Bạn dùng trọn card, hiệu năng gần như máy vật lý, nhưng không chia nhỏ được.
• vGPU (chia theo thời gian). Driver ảo hoá cho nhiều máy ảo dùng chung một card, mỗi máy có một lát VRAM. Các máy luân phiên chiếm lõi tính toán, nên khi hàng xóm tải nặng, tốc độ của bạn có thể dao động.
• MIG (Multi-Instance GPU). Một số card trung tâm dữ liệu của NVIDIA cắt được thành tối đa 7 phiên bản, mỗi phiên bản có lõi, bộ nhớ và băng thông riêng ở mức phần cứng. Thông số này áp dụng cho cả A100 và H100. Vì tách ở phần cứng, hiệu năng ít bị ảnh hưởng bởi người dùng khác. Cách này thường được dùng để chạy suy luận (inference) cho mô hình nhỏ và vừa với giá thấp hơn thuê nguyên card.

Cách tách phần cứng nằm ở lớp ảo hoá, nên bạn nên hiểu thêm về ảo hoá và máy chủ ảo trước khi đọc tiếp phần chọn gói.

Lớp truy cập và quản lý

Bạn thường vào qua SSH, Jupyter hoặc cửa sổ quản trị của nhà cung cấp. Bộ lập lịch (scheduler) của nền tảng tìm trong kho một nút có đúng kiểu GPU, số lượng và cấu hình bạn chọn. Nếu kho hết hàng, yêu cầu có thể phải chờ hoặc bị từ chối. Đây là rủi ro thực tế với GPU đời mới.

Có những loại GPU cloud nào?

Thuật ngữ trên thị trường chưa thống nhất, nên cùng một tên có thể chỉ các sản phẩm khác nhau. Bảng dưới đây phân loại theo cách bàn giao tài nguyên, dựa trên cách các nhà cung cấp trong nước mô tả. Giá chỉ là mức tham chiếu công bố khoảng tháng 5/2026 của một nhà cung cấp, không thay cho báo giá.

Tiêu chí	VPS GPU	GPU cloud (theo giờ)	Bare metal GPU
Bản chất	Máy ảo có GPU, cấu hình theo gói	Tài nguyên GPU cấp theo yêu cầu, kèm hệ sinh thái cloud	Máy chủ vật lý, không ảo hoá
Cách tính tiền	Theo tháng	Theo giờ hoặc phút	Theo tháng hoặc năm
Hiệu năng	Phụ thuộc passthrough hay vGPU	Cao, tuỳ cấu hình	Cao nhất, dùng trọn phần cứng
Cách ly	Qua ảo hoá	Qua ảo hoá, có thể thêm MIG	Cách ly vật lý
Dịch vụ đi kèm	Ít	Lưu trữ đối tượng, Kubernetes, cân bằng tải	Tự lắp đặt phần mềm
Mức giá tham khảo (05/2026, một nhà cung cấp)	500.000–5.000.000 đ/tháng	5.000–200.000 đ/giờ	15–50 triệu đ/tháng

Hai lưu ý khi đọc bảng. Thứ nhất, mức giá trải rộng vì card khác nhau: card RTX tiêu dùng rẻ hơn nhiều so với H100. Thứ hai, một số nhà cung cấp bán thêm gói theo tháng cho từng GPU, thường rẻ hơn tổng giờ quy đổi nếu bạn dùng liên tục. Bạn cần tự tính điểm hoà vốn theo số giờ thực dùng.

Ngoài ra còn nhóm GPU cloud “chuyên cho AI” với kho GPU lớn và giá riêng, khác với nhà cung cấp đám mây đa dụng. Nhóm này tập trung vào cụm nhiều GPU, mạng tốc độ cao và thời gian cấp phát nhanh.

GPU cloud dùng vào việc gì trong doanh nghiệp?

• Tinh chỉnh mô hình ngôn ngữ (fine-tuning). Doanh nghiệp lấy một mô hình mở và huấn luyện thêm bằng tài liệu nội bộ. Kỹ thuật LoRA chỉ cập nhật một phần nhỏ tham số nên chạy được trên 1 card 80GB.
• Chạy suy luận cho ứng dụng. Chatbot chăm sóc khách hàng hay tìm kiếm tài liệu cần GPU luôn sẵn sàng, nhưng tải thường nhỏ hơn huấn luyện. Phân vùng MIG hoặc card nhỏ hợp ở đây.
• Render và mô phỏng. Xưởng dựng phim quảng cáo, kiến trúc sư dựng phối cảnh 3D, kỹ sư mô phỏng dòng chảy hoặc kết cấu dồn việc vào các đợt nặng gần hạn giao.
• Xử lý ảnh, video. Ví dụ minh hoạ: một chuỗi bán lẻ chạy nhận dạng ảnh kệ hàng theo lô vào ban đêm, rồi tắt máy sáng hôm sau. Bài toán này hợp thuê theo giờ vì tải có chu kỳ rõ.
• Máy trạm đồ hoạ từ xa. Nhân sự thiết kế truy cập máy ảo đồ hoạ thay vì mua máy trạm cho từng người. Với nhu cầu này, hãy so sánh thêm với VDI.

Với dữ liệu cá nhân, ví dụ bạn đưa hồ sơ khách hàng vào tập huấn luyện, cần xác định trường nào được dùng và dữ liệu có rời lãnh thổ Việt Nam hay không. Nếu GPU đặt ở nước ngoài, hãy rà nghĩa vụ về chuyển dữ liệu cá nhân xuyên biên giới trước khi tải dữ liệu lên.

Chọn GPU nào: VRAM quyết định trước tiên

Nhiều người chọn GPU theo tên card. Cách thực tế hơn là ước lượng bộ nhớ cần thiết trước.

• Chạy suy luận. Một mô hình 7 tỷ tham số lưu ở độ chính xác 16 bit cần khoảng 14 GB cho trọng số (7 tỷ nhân 2 byte). Cần thêm bộ nhớ cho ngữ cảnh và đệm. Card 24 GB thường đủ cho cỡ này.
• Huấn luyện toàn bộ tham số. Theo ước lượng thường dùng khi huấn luyện chính xác hỗn hợp với bộ tối ưu Adam, mỗi tham số tốn khoảng 16 byte cho trọng số, gradient và trạng thái bộ tối ưu. Mô hình 7 tỷ tham số khi đó cần khoảng 112 GB, vượt qua một card 80 GB. Vì vậy phải chia trên nhiều card hoặc dùng LoRA.
• Băng thông bộ nhớ. Suy luận mô hình ngôn ngữ thường bị giới hạn bởi tốc độ đọc bộ nhớ hơn là số phép tính. H100 80GB dùng HBM3 với băng thông 3,35 TB/s, so với 2,0 TB/s của A100, theo bảng thông số của một nhà cung cấp trong nước.

Các con số trên là ước lượng kỹ thuật để dự trù, không thay cho việc chạy thử với dữ liệu thật. Hãy thuê một giờ, đo mức VRAM đỉnh bằng công cụ giám sát của card, rồi mới chốt cấu hình.

Một lượt chạy GPU cloud diễn ra thế nào?

Hai lỗi hay gặp ở người mới:

• Quên tắt máy. Cuối buổi, máy vẫn bật nhưng GPU nhàn rỗi, tiền vẫn chạy. Cách xử lý: đặt cảnh báo ngân sách và lệnh tự tắt khi GPU nhàn rỗi quá một khoảng bạn chọn.
• Mất kết quả huấn luyện. Nếu máy bị thu hồi hoặc xoá, dữ liệu trên ổ gắn liền với máy có thể mất. Cách xử lý: lưu checkpoint định kỳ ra ổ bền hoặc kho lưu trữ đối tượng, và ghi sẵn lệnh để chạy tiếp từ checkpoint gần nhất.

Khi cần chạy nhiều job song song hoặc dựng dịch vụ suy luận phục vụ người dùng, nhiều nền tảng cho phép cấp GPU cho container qua Kubernetes, nhờ đó GPU được lập lịch cho đúng job cần thay vì bật nguyên máy.

Ưu điểm và hạn chế của GPU cloud

Ưu điểm

• Không chi vốn lớn một lần. Theo một nhà cung cấp trong nước, giá mua H100 80GB năm 2026 khoảng 25.000–40.000 USD tuỳ bản PCIe hay SXM5 và nguồn cung. Đây là mức tham khảo của một nguồn thương mại, bạn nên hỏi báo giá thực tế.
• Co giãn nhanh: hôm nay 1 GPU, tuần sau 8 GPU, xong việc thì dừng. Cơ chế này tương tự tính co giãn của đám mây.
• Đổi thế hệ card mà không mang khoản khấu hao phần cứng cũ.

Hạn chế

• Tải chạy liên tục nhiều tháng thường đắt hơn tự sở hữu. Bạn cần so sánh với phương án đặt máy tại chỗ, tính cả điện, làm mát và nhân sự.
• GPU đời mới có thể khan hàng, phải chờ hoặc phải đặt trước.
• Dữ liệu lớn tải lên chậm và có thể mất phí băng thông khi lấy kết quả ra. Chỗ đặt dữ liệu và chỗ đặt GPU nên gần nhau.
• Với vGPU dùng chung, hiệu năng có thể dao động. Vì vậy nên hỏi nhà cung cấp rõ đây là passthrough, vGPU hay MIG.

GPU cloud khác gì cloud server thường và máy chủ GPU tự mua?

• So với cloud server (máy ảo CPU). Máy ảo thường hợp web, cơ sở dữ liệu, ứng dụng nghiệp vụ. GPU cloud chỉ đáng tiền khi phần việc chính là tính toán song song. Chạy website trên máy GPU là lãng phí.
• So với máy chủ GPU tự mua. Tự mua cho chi phí đơn vị giờ thấp hơn khi máy chạy đều, và dữ liệu nằm hoàn toàn trong tầm kiểm soát của bạn. Đổi lại bạn chịu vốn đầu tư, vận hành và nguy cơ lỗi thời.
• So với dịch vụ AI dạng API. Gọi API mô hình có sẵn không cần quản lý GPU, tính tiền theo lượng sử dụng. GPU cloud cho bạn quyền kiểm soát mô hình, dữ liệu và độ trễ, đổi lại bạn phải tự vận hành.

Khi nào nên và không nên thuê GPU cloud?

Nên thuê khi

• Bạn chỉ cần GPU vài ngày hoặc vài tuần mỗi quý, ví dụ một đợt tinh chỉnh mô hình hoặc một đợt render gấp.
• Bạn đang thử xem mô hình nào chạy được trước khi quyết định mua phần cứng, và cần đo VRAM thật.
• Bạn cần cụm nhiều GPU ngắn hạn mà công ty không có phòng máy đủ điện và làm mát.

Chưa nên thuê theo giờ khi

• Dịch vụ suy luận chạy 24/7 nhiều tháng. Khi đó thuê theo tháng, thuê dài hạn hoặc tự đặt máy thường có lợi hơn, cần tính trên số liệu của bạn.
• Dữ liệu thuộc loại phải giữ trong nước hoặc trong hạ tầng riêng theo quy định ngành. Khi đó chọn nhà cung cấp có trung tâm dữ liệu tại Việt Nam, hoặc đám mây riêng.
• Bạn chưa có người biết cài driver, môi trường CUDA và quản lý checkpoint. Chi phí học sai có thể vượt cả tiền thuê.

Khi cân nhắc nhà cung cấp, hãy đọc kỹ cam kết trong SLA. Cần xem SLA tính trên máy ảo, trên GPU hay trên mạng, và điều gì xảy ra khi card lỗi giữa đợt huấn luyện dài.

Checklist đánh giá nhà cung cấp GPU cloud

1. Loại GPU cụ thể và cách bàn giao: passthrough, vGPU hay MIG; VRAM từng phiên bản.
2. Vị trí trung tâm dữ liệu và độ trễ từ văn phòng hoặc từ hệ thống của bạn.
3. Hạn mức GPU cho tài khoản mới và thời gian duyệt tăng hạn mức.
4. Cách tính tiền: theo giờ hay theo phút, có tính khi máy tắt nhưng ổ còn giữ không, phí băng thông ra.
5. Hình ảnh hệ điều hành dựng sẵn có driver, CUDA và thư viện học sâu khớp phiên bản với mã của bạn.
6. Lưu trữ: ổ bền, kho đối tượng, tốc độ đọc khi đọc tập dữ liệu lớn.
7. Chính sách thu hồi và cam kết dịch vụ nếu dùng gói giá rẻ có thể bị ngắt.
8. Hợp đồng về dữ liệu: ai truy cập được đĩa của bạn, cách xoá dữ liệu khi trả máy.

Câu hỏi thường gặp

GPU cloud và cloud GPU có phải một thứ không?

Trong thực tế hai cách gọi này dùng thay nhau. Một số nhà cung cấp dùng “GPU cloud” cho cả nền tảng, còn “VPS GPU” hoặc “GPU server” cho từng loại sản phẩm, nên bạn cần đọc mô tả kỹ thuật thay vì chỉ nhìn tên gọi.

GPU cloud có chạy được mọi phần mềm đồ hoạ và AI không?

Phần lớn khung AI phổ biến chạy tốt trên card NVIDIA nhờ CUDA. Một số phần mềm đồ hoạ cần giấy phép riêng cho máy ảo hoặc yêu cầu card cụ thể, nên hãy hỏi nhà cung cấp và nhà phát hành phần mềm trước khi thuê.

Thuê GPU cloud đắt hay rẻ hơn mua card?

Phụ thuộc số giờ bạn thực sự dùng. Dùng ít và không đều thì thuê thường rẻ hơn. Dùng đều đặn nhiều tháng thì phải so sánh tổng chi phí sở hữu gồm điện, làm mát, nhân sự và khấu hao với giá thuê dài hạn. Giá cụ thể nên lấy từ báo giá hiện hành.

Dữ liệu của tôi có an toàn khi đưa lên GPU cloud?

Mức an toàn tuỳ nhà cung cấp và cách bạn cấu hình: mã hoá ổ đĩa, kiểm soát truy cập, xoá dữ liệu khi trả máy. Dữ liệu rất nhạy cảm nên ưu tiên vùng đặt trong nước hoặc môi trường riêng, và nên đọc điều khoản về quyền truy cập của nhà cung cấp.

Doanh nghiệp nhỏ nên bắt đầu với loại GPU nào?

Bạn nên ước lượng VRAM theo mô hình cần chạy rồi chọn card thấp nhất đáp ứng được. Với suy luận mô hình cỡ 7 tỷ tham số, card khoảng 24 GB thường đủ. Với tinh chỉnh bằng LoRA, hãy thử card 40 đến 80 GB. Bạn có thể nâng cấp sau khi đo thực tế.

MIG và vGPU khác nhau chỗ nào?

vGPU chia sẻ lõi tính toán theo thời gian giữa các máy ảo, nên tốc độ có thể dao động theo tải của người khác. MIG cắt card ở mức phần cứng thành các phiên bản có bộ nhớ và lõi riêng, nên hiệu năng ổn định hơn. Đổi lại MIG chỉ có trên một số dòng card trung tâm dữ liệu.