Outil · Mémoire et vitesse
Calculateur de VRAM pour LLM : combien de mémoire faut-il?
Un modèle demande à peu près son nombre de paramètres × bits par poids ÷ 8, plus ~1,5 Go pour l’exécution et ~5 % pour le contexte. En 4 bits (Q4_K_M), c’est ~7 Go pour Qwen3.5 9B, ~13 Go pour GPT-OSS 20B et ~46 Go pour Llama 3.3 70B. Choisissez un modèle ci-dessous.
Calculez la mémoire et la vitesse pour n’importe quel modèle
Il faut environ ~46 Go (poids 42,4 Go + exécution 1,5 Go + contexte (cache KV) 2,1 Go)
| Machine suivie | Prix | Mémoire utilisable | Compatibilité et vitesse est. |
|---|---|---|---|
| Mac mini M5 Pro | 1 699 $ US | ~17 Go | Ne rentre pas |
| GMKtec EVO-X2 64GB | 2 200 $ US | ~48 Go | Juste~5 tok/s |
| Mac Studio M5 Max 36GB | 2 499 $ US | ~27 Go | Ne rentre pas |
| Mac Studio M5 Max 48GB | 3 099 $ US | ~36 Go | Ne rentre pas |
| GMKtec EVO-X2 128GB | 3 500 $ US | ~96 Go | Rentre~5 tok/s |
| Minisforum MS-S1 Max | 3 919 $ US | ~96 Go | Rentre~5 tok/s |
| Beelink GTR9 Pro | 4 349 $ US | ~96 Go | Rentre~5 tok/s |
| Framework Desktop DIY | 4 839 $ US | ~96 Go | Rentre~5 tok/s |
| Gigabyte GeForce RTX 4090 Windforce V2carte seule | 4 899 $ US | ~22 Go | Ne rentre pas |
| Mac Studio M5 Ultra 96GB | 5 499 $ US | ~72 Go | Rentre~23 tok/s |
| Lenovo ThinkStation PGX | 5 859 $ US | ~109 Go | Rentre~5 tok/s |
| ASUS Ascent GX10 | 5 999 $ US | ~109 Go | Rentre~5 tok/s |
| NVIDIA DGX Spark | 6 950 $ US | ~109 Go | Rentre~5 tok/s |
| HP ZGX Nano G1n | 7 699 $ US | ~109 Go | Rentre~5 tok/s |
| NVIDIA GeForce RTX 5090 Founders Editioncarte seule | 8 500 $ US | ~30 Go | Ne rentre pas |
| PNY NVIDIA RTX PRO 6000 Blackwellcarte seule | 17 899 $ US | ~89 Go | Rentre~34 tok/s |
| Gigabyte AI TOP ATOM | — | ~109 Go | Rentre~5 tok/s |
| Mac Studio M5 Ultra 256GB | — | ~192 Go | Rentre~23 tok/s |
Au-delà de ~8K, le contexte est une extrapolation linéaire grossière de notre marge à 8K; la taille réelle du cache KV dépend de l’architecture d’attention du modèle (l’attention groupée ou à fenêtre glissante en consomme beaucoup moins). Les vitesses sont des estimations pour un utilisateur. Notre méthode
Combien de mémoire demande chaque modèle populaire?
| Modèle | 4 bits | 8 bits | FP16 |
|---|---|---|---|
| Qwen3.5 9Bdense · 9B | ~7 GoQ4_K_M | ~12 Go | ~20 Go |
| Gemma 4 12Bdense · 12B | ~9 GoQ4_K_M | ~15 Go | ~27 Go |
| GPT-OSS 20BMoE · 21B · 3,6B actifs | ~13 GoMXFP4 (native) | ~25 Go | ~46 Go |
| Gemma 4 26B-A4BMoE · 25,2B · 3,8B actifs | ~18 GoQ4_K_M | ~30 Go | ~54 Go |
| Qwen3.8 27Bdense · 27B | ~19 GoQ4_K_M | ~32 Go | ~58 Go |
| Gemma 3 27Bdense · 27,4B | ~19 GoQ4_K_M | ~32 Go | ~59 Go |
| GLM-4.7-Flash 30B-A3BMoE · 30B · 3B actifs | ~21 GoQ4_K_M | ~35 Go | ~64 Go |
| Qwen3 30B-A3BMoE · 30,5B · 3,3B actifs | ~21 GoQ4_K_M | ~36 Go | ~66 Go |
| Gemma 4 31Bdense · 31B | ~21 GoQ4_K_M | ~36 Go | ~67 Go |
| Qwen3 32Bdense · 32,8B | ~22 GoQ4_K_M | ~38 Go | ~70 Go |
| DeepSeek R1 Distill Qwen 32Bdense · 32,8B | ~22 GoQ4_K_M | ~38 Go | ~70 Go |
| Qwen3.6 35B-A3BMoE · 35B · 3B actifs | ~24 GoQ4_K_M | ~41 Go | ~75 Go |
| Llama 3.3 70Bdense · 70B | ~46 GoQ4_K_M | ~80 Go | ~148 Go |
| DeepSeek R1 Distill Llama 70Bdense · 70,6B | ~46 GoQ4_K_M | ~80 Go | ~150 Go |
| Qwen3-Next 80B-A3BMoE · 80B · 3B actifs | ~52 GoQ4_K_M | ~91 Go | ~170 Go |
| Llama 4 Scout 109B-A17BMoE · 109B · 17B actifs | ~71 GoQ4_K_M | ~123 Go | ~230 Go |
| GPT-OSS 120BMoE · 117B · 5,1B actifs | ~67 GoMXFP4 (native) | ~132 Go | ~247 Go |
| Mistral Small 4 119B-A6BMoE · 119,4B · 6,5B actifs | ~78 GoQ4_K_M | ~135 Go | ~252 Go |
| Nemotron 3 Super 120B-A12BMoE · 120B · 12B actifs | ~78 GoQ4_K_M | ~135 Go | ~254 Go |
| Qwen3.5 122B-A10BMoE · 122B · 10B actifs | ~79 GoQ4_K_M | ~138 Go | ~258 Go |
| Qwen3 235B-A22BMoE · 235B · 22B actifs | ~151 GoQ4_K_M | ~264 Go | ~495 Go |
| Muse Spark Open 816B-A42BMoE · 816B · 42B actifs | ~521 GoQ4_K_M | ~912 Go | ~1 715 Go |
Poids + exécution + ~8K de contexte, selon la formule ci-dessous.
Comment calcule-t-on la mémoire d’un LLM?
mémoire ≈ paramètres × bits par poids ÷ 8 + 1,5 Go + 5 % des poids pour ~8K de contexte
La vitesse suit la bande passante mémoire : chaque jeton généré lit une fois les poids actifs, donc tok/s ≈ 1 ÷ (Go actifs ÷ (efficacité × bande passante) + surcoût), avec une efficacité et un surcoût par jeton ajustés par plateforme sur 52 bancs d’essai publics.
Questions fréquentes
Comment calculer la VRAM nécessaire pour un LLM?
Multipliez le nombre de paramètres (en milliards) par les bits par poids et divisez par 8 pour obtenir les Go de poids, puis ajoutez ~1,5 Go pour l’exécution et ~5 % des poids pour ~8K jetons de contexte. Le Q4_K_M fait en moyenne ~4,85 bits par poids et le Q8_0 ~8,5.
Combien de VRAM pour un modèle 70B?
Environ 46 Go en 4 bits et 80 Go en 8 bits pour Llama 3.3 70B : il ne rentre donc pas sur une seule carte de 24 ou 32 Go. La machine suivie la moins chère qui le contient est le GMKtec EVO-X2 64GB à 2 200 $ US.
Combien de VRAM pour un modèle de 7 à 9 milliards de paramètres?
Environ 7 Go en 4 bits pour Qwen3.5 9B : une carte de 8 Go est juste, 12 Go est à l’aise. En 8 bits, il faut ~12 Go.
Un contexte plus long demande-t-il plus de mémoire?
Oui. Le cache KV grandit avec chaque jeton de contexte. Notre marge par défaut couvre ~8K jetons; le calculateur l’extrapole linéairement pour 32K et 128K, une estimation haute, car beaucoup de modèles récents utilisent une attention qui en demande bien moins.
Les vitesses sont-elles fiables?
Elles viennent d’un modèle de bande passante ajusté sur 43 essais publics llama.cpp/MLX et vérifié sur 9 essais mis de côté. Ce sont des estimations : le traitement du prompt, le batching et le décodage spéculatif ne sont pas modélisés.