VRAM cần để chạy một mô hình AI trên máy ≈ dung lượng file mô hình + bộ nhớ cho ngữ cảnh + khoảng 1GB dự phòng. Với mức nén phổ biến Q4, mỗi tỷ tham số tốn khoảng 0,6GB. Tính nhanh: card 8GB chạy tốt mô hình 7–8 tỷ tham số, 12GB chạy mô hình 12–14 tỷ, 16GB chạy mô hình 14 tỷ với ngữ cảnh dài hoặc mô hình 20 tỷ dạng MoE, 24GB chạy mô hình 27–32 tỷ, còn mô hình 70 tỷ cần từ 48GB trở lên.
Bài này là phần chi tiết của bài Dùng eGPU chạy AI trên máy: cách tự tính VRAM, bảng dung lượng thật của các mô hình phổ biến, và vài lưu ý riêng khi card nằm trong hộp eGPU.
VRAM được dùng vào những việc gì?
Khi chạy một mô hình ngôn ngữ (LLM), VRAM của card chứa ba phần:
- Trọng số mô hình — phần lớn nhất, gần bằng dung lượng file mô hình bạn tải về.
- Bộ nhớ ngữ cảnh (KV cache) — lưu lại những gì mô hình đã đọc trong cuộc hội thoại. Ngữ cảnh càng dài, phần này càng lớn.
- Phần dự phòng — bộ nhớ làm việc của phần mềm và driver, thường khoảng 0,5–1GB.
Nếu tổng ba phần vượt VRAM, phần mềm phải đẩy một phần mô hình sang RAM hệ thống và tốc độ giảm mạnh. Với eGPU, bước đọc câu lệnh còn chậm thêm vì phần trọng số ở RAM phải chép qua cáp (xem phần lưu ý cho eGPU bên dưới).
Dung lượng thật của các mô hình phổ biến
Mô hình thường được nén (lượng tử hoá) để nhỏ lại. Định dạng GGUF dùng cho llama.cpp, Ollama và LM Studio có các mức nén thường gặp: Q4_K_M (nhỏ, chất lượng tốt, phổ biến nhất), Q6_K (gần như không mất chất lượng) và Q8_0 (sát bản gốc). Dung lượng file thực tế:
| Mô hình | Q4_K_M | Q6_K | Q8_0 |
|---|---|---|---|
| Llama 3.1 8B | 4,9GB | 6,6GB | 8,5GB |
| Gemma 3 12B | 7,3GB | 9,7GB | 12,5GB |
| Qwen2.5 14B | 9,0GB | 12,1GB | 15,7GB |
| Gemma 3 27B | 16,6GB | 22,2GB | 28,7GB |
| Qwen3 30B-A3B (MoE) | 18,6GB | 25,1GB | 32,5GB |
| Qwen2.5 32B | 19,9GB | 26,9GB | 34,8GB |
| Llama 3.3 70B | 42,5GB | — | — |
Số liệu lấy từ các bản GGUF phổ biến trên Hugging Face. Bản gốc chưa nén (FP16/BF16) nặng khoảng 2GB cho mỗi tỷ tham số — ví dụ Qwen2.5 14B là 29,6GB.
Ngoài các mức nén chuẩn, nay đã có những kiểu nén sâu hơn mà vẫn giữ chất lượng khá. Ví dụ trong bài trụ cột, một mô hình Qwen 27 tỷ tham số được nén còn khoảng 11,8GB và chạy được trên card 16GB.
Ngữ cảnh dài tốn bao nhiêu VRAM?
Đây là phần hay bị bỏ quên. Bộ nhớ ngữ cảnh tăng đều theo số token, và mỗi mô hình tốn một mức khác nhau tuỳ cấu trúc. Với cài đặt mặc định (bộ nhớ ngữ cảnh 16-bit):
| Mô hình | Mỗi token | Ngữ cảnh 8K | Ngữ cảnh 32K |
|---|---|---|---|
| Qwen2.5 7B | 56KB | 0,4GB | 1,8GB |
| Llama 3.1 8B | 128KB | 1GB | 4GB |
| Qwen2.5 14B | 192KB | 1,5GB | 6GB |
| Qwen2.5 32B | 256KB | 2GB | 8GB |
Có hai cách giảm phần này: rút ngắn ngữ cảnh (nhiều phần mềm mặc định rất dài) hoặc nén bộ nhớ ngữ cảnh xuống 8-bit — tiết kiệm khoảng một nửa, chất lượng gần như không đổi. Trong llama.cpp và LM Studio đều có tuỳ chọn này.
Ví dụ tính VRAM thực tế
Qwen2.5 14B, bản Q4_K_M, ngữ cảnh 32K: 9,0GB (mô hình) + 6GB (ngữ cảnh) + 1GB (dự phòng) ≈ 16GB — vừa khít card 16GB, dễ bị tràn. Giảm ngữ cảnh xuống 16K (3GB) thì còn khoảng 13GB, chạy thoải mái.
Qwen2.5 32B, bản Q4_K_M, ngữ cảnh 8K: 19,9GB + 2GB + 1GB ≈ 23GB — cần card 24GB. Card 16GB không chạy trọn được.
Llama 3.1 8B, bản Q8_0, ngữ cảnh 8K: 8,5GB + 1GB + 1GB ≈ 10,5GB — card 12GB chạy được bản gần như nguyên chất lượng; card 8GB nên dùng bản Q4_K_M (4,9GB).
Mô hình MoE: tính VRAM thế nào?
Mô hình MoE (Mixture of Experts — gồm nhiều "chuyên gia", mỗi lần chỉ kích hoạt vài chuyên gia) có hai con số: tổng tham số và tham số hoạt động. Ví dụ Qwen3 30B-A3B có 30 tỷ tham số nhưng mỗi token chỉ dùng khoảng 3 tỷ.
- VRAM tính theo tổng tham số: Qwen3 30B-A3B bản Q4_K_M vẫn nặng 18,6GB, cần card 24GB để chạy trọn.
- Tốc độ tính theo tham số hoạt động: vì mỗi token chỉ đọc khoảng 3 tỷ tham số, mô hình MoE chạy nhanh hơn nhiều so với mô hình thường cùng dung lượng.
- gpt-oss-20b của OpenAI là ví dụ khác: bản MXFP4 nặng khoảng 12,1GB, chạy trọn trên card 16GB.
Khi mô hình MoE không vừa VRAM, llama.cpp cho phép để một phần chuyên gia ở RAM hệ thống. Cách này dùng được, nhưng dữ liệu phải qua lại giữa card và máy nhiều hơn — và với eGPU, đó là lúc băng thông cáp bắt đầu có ảnh hưởng. Chi tiết ở bài OCuLink vs Thunderbolt 5 vs USB4.
Vì sao việc chia mô hình với RAM làm eGPU chậm hơn máy bàn, và cách giảm ảnh hưởng, xem bài Băng thông eGPU ảnh hưởng chạy AI thế nào.
Chọn mức VRAM theo nhu cầu
| VRAM | Chạy tốt | Ví dụ card |
|---|---|---|
| 8GB | Mô hình 7–8B bản Q4, ngữ cảnh ngắn; tạo ảnh SD 1.5, SDXL ở mức cơ bản | RTX 5060, RTX 5060 Ti 8GB |
| 12GB | Mô hình 12–14B bản Q4; mô hình 8B bản Q8 | RTX 5070, Intel Arc B580 |
| 16GB | Mô hình 14B ngữ cảnh dài; gpt-oss-20b; mô hình 27B nén sâu | RTX 5060 Ti 16GB, RTX 5070 Ti, RTX 5080, RX 9060 XT 16GB, RX 9070 / 9070 XT |
| 24GB | Mô hình 27–32B bản Q4; Qwen3 30B-A3B chạy trọn | RTX 3090, RTX 4090, RX 7900 XTX, Intel Arc Pro B60 |
| 32GB | Mô hình 32B bản Q6 hoặc ngữ cảnh rất dài; nhiều phiên song song | RTX 5090, Radeon AI PRO R9700 |
| 48GB trở lên | Mô hình 70B bản Q4 | Ghép hai card 24GB, hoặc card chuyên dụng |
Card càng nhiều VRAM thường càng tiêu thụ nhiều điện — nhớ đối chiếu với nguồn của hộp eGPU (xem cách chọn nguồn cho eGPU).
Lưu ý riêng khi chạy AI trên eGPU
- Cắm màn hình vào laptop, không cắm vào card eGPU. Card đang xuất hình cho Windows sẽ mất vài trăm MB đến hơn 1GB VRAM cho giao diện. Để laptop xuất hình bằng card tích hợp, VRAM của eGPU gần như trống hoàn toàn cho AI — đây là lợi thế eGPU có mà máy bàn một card không có.
- Tắt tính năng tràn VRAM sang RAM (Windows, card NVIDIA). Driver NVIDIA có tuỳ chọn CUDA - Sysmem Fallback Policy trong NVIDIA Control Panel → Manage 3D Settings. Để mặc định, khi thiếu VRAM driver lặng lẽ dùng RAM hệ thống qua cáp eGPU, làm tốc độ tụt mạnh mà không báo lỗi. Chọn Prefer No Sysmem Fallback để biết ngay khi mô hình không vừa VRAM.
- Kiểm tra mô hình có nằm hết trong VRAM không. Với Ollama, gõ lệnh
ollama ps: cột PROCESSOR phải hiện 100% GPU. Nếu hiện dạng chia đôi CPU/GPU, mô hình đang tràn ra ngoài. Với card NVIDIA, có thể xem thêm bằng lệnhnvidia-smi. - Chừa khoảng 10% VRAM. Chạy sát 100% dễ lỗi khi ngữ cảnh dài dần trong lúc dùng.
AI tạo ảnh cần bao nhiêu VRAM?
- Stable Diffusion 1.5: khoảng 4–6GB là chạy được.
- SDXL: nên có từ 8GB; 12GB trở lên thoải mái hơn khi tạo ảnh lớn hoặc dùng thêm ControlNet.
- Flux.1: bản đầy đủ cần khoảng 24GB; bản nén FP8 chạy được trên card khoảng 12–16GB; các bản GGUF nén sâu hơn chạy được trên card 8GB nhưng chậm hơn.
Tạo ảnh ít phụ thuộc cáp eGPU giống như LLM, vì mô hình cũng được tải một lần vào VRAM rồi xử lý bên trong card.
Câu hỏi thường gặp
Chạy mô hình 7B cần bao nhiêu VRAM?
Khoảng 5–6GB với bản Q4_K_M và ngữ cảnh ngắn. Card 8GB chạy tốt.
Card 16GB chạy được mô hình bao nhiêu tỷ tham số?
Mô hình 14B thoải mái kể cả ngữ cảnh khá dài, gpt-oss-20b chạy trọn, mô hình 27B chạy được nếu dùng bản nén sâu. Mô hình 32B bản Q4 (19,9GB) thì không vừa.
Mô hình 70B cần bao nhiêu VRAM?
Bản Q4_K_M nặng khoảng 42,5GB, cộng ngữ cảnh cần từ 48GB — thường phải ghép hai card 24GB hoặc dùng card chuyên dụng.
Thiếu VRAM thì có chạy được không?
Được, phần mềm sẽ đẩy một phần mô hình sang RAM hệ thống, nhưng tốc độ giảm mạnh. Trên eGPU, bước đọc câu lệnh còn chậm hơn máy bàn vì phần trọng số ở RAM phải chép qua cáp.
Nén Q4 có làm mô hình "ngu" đi không?
Có giảm chút chất lượng, nhưng Q4_K_M được dùng phổ biến vì cân bằng tốt giữa dung lượng và chất lượng. Nếu dư VRAM, dùng Q6_K hoặc Q8_0 để sát bản gốc hơn.
Đọc thêm
- Dùng eGPU chạy AI trên máy: có đáng không?
- Băng thông eGPU ảnh hưởng chạy AI thế nào?
- OCuLink vs Thunderbolt 5 vs USB4: chuẩn nào cho eGPU?
- Hướng dẫn chọn nguồn cho eGPU
Nguồn tham khảo
- Dung lượng file GGUF: các bản của bartowski trên Hugging Face (Qwen2.5 14B, Qwen2.5 32B, Qwen3 30B-A3B, Llama 3.3 70B) và gpt-oss-20b
- Cấu trúc mô hình dùng để tính bộ nhớ ngữ cảnh: Qwen2.5
- Kiểm tra mô hình có nằm trong GPU: Ollama FAQ
