Meta · 70B au total / 70B actifs · dense · usage général
Llama 3.3 70B en local : combien de VRAM et quel matériel?
Llama 3.3 70B demande environ 46 Go de VRAM ou de mémoire unifiée en Q4_K_M (4 bits) et 80 Go en Q8_0 (8 bits). 13 des 18 machines que nous suivons peuvent le contenir. La machine la moins chère est le GMKtec EVO-X2 (64 Go) à 2 200 $ US, à ~5 tok/s estimés.
La plus rapide est le PNY NVIDIA RTX PRO 6000 Blackwell, à ~34 tok/s.
Combien de VRAM demande Llama 3.3 70B?
| Q4_K_M (4 bits) | Q8_0 (8 bits) | |
|---|---|---|
| Mémoire nécessaire (est.) | ~46 Go | ~80 Go |
| Poids seuls | ~42 Go | ~74 Go |
| Lu à chaque jeton | ~42 Go | ~74 Go |
| Machines compatibles | 13 sur 18 | 11 sur 18 |
C’est un modèle dense : chacun de ses 70B paramètres est lu à chaque jeton. C’est la bande passante mémoire, pas la puissance de calcul, qui fixe la vitesse.
Quelles machines peuvent faire tourner Llama 3.3 70B?
Triées par prix le plus bas du jour. La quantification est celle que nous utiliserions sur chaque machine : Q8_0 si le modèle rentre à l’aise et dépasse encore 10 tok/s, sinon Q4_K_M.
| Machine | Prix US du jour (USD) | Quantification | Mémoire utilisée | Jetons/s est. | Acheter |
|---|---|---|---|---|---|
| GMKtec EVO-X264 Go · 256 Go/s | 2 200 $ USGMKtec store · 2026-10-24 | Q4_K_M | ~46 sur 48 Go | ~5 est. | Voir le prix |
| GMKtec EVO-X2128 Go · 256 Go/s | 3 500 $ USGMKtec store · 2026-10-24 | Q4_K_M | ~46 sur 96 Go | ~5 est. | Voir le prix |
| Minisforum MS-S1 Max128 Go · 256 Go/s | 3 919 $ USMinisforum store · 2026-10-24 | Q4_K_M | ~46 sur 96 Go | ~5 est. | Voir le prix |
| Beelink GTR9 Pro128 Go · 256 Go/s | 4 349 $ USBeelink store · 2026-10-24 | Q4_K_M | ~46 sur 96 Go | ~5 est. | Voir le prix |
| Framework Desktop DIY128 Go · 256 Go/s | 4 839 $ USFramework store · 2026-10-24 | Q4_K_M | ~46 sur 96 Go | ~5 est. | Voir le prix |
| Mac Studio M5 Ultra96 Go · 1 200 Go/s | 5 499 $ USApple Store · 2026-10-24 | Q4_K_M | ~46 sur 72 Go | ~23 est. | Voir le prix |
| Lenovo ThinkStation PGX128 Go · 273 Go/s | 5 859 $ USB&H Photo · 2026-10-24 | Q4_K_M | ~46 sur 109 Go | ~5 est. | Voir le prix |
| ASUS Ascent GX10128 Go · 273 Go/s | 5 999 $ USB&H Photo · 2026-10-24 | Q4_K_M | ~46 sur 109 Go | ~5 est. | Voir le prix |
| NVIDIA DGX Spark128 Go · 273 Go/s | 6 950 $ USNVIDIA Marketplace · 2026-10-24 | Q4_K_M | ~46 sur 109 Go | ~5 est. | Voir le prix |
| HP ZGX Nano G1n128 Go · 273 Go/s | 7 699 $ USB&H Photo · 2026-10-24 | Q4_K_M | ~46 sur 109 Go | ~5 est. | Voir le prix |
| Gigabyte AI TOP ATOM128 Go · 273 Go/s | 8 499 $ USB&H Photo · 2026-10-24 | Q4_K_M | ~46 sur 109 Go | ~5 est. | Voir le prix |
| PNY NVIDIA RTX PRO 6000 Blackwell96 Go · 1 792 Go/s (carte seule, il faut un PC hôte) | 17 899 $ USB&H Photo · 2026-10-24 | Q8_0 | ~80 sur 89 Go | ~20 est. | Voir le prix |
| Mac Studio M5 Ultra256 Go · 1 200 Go/s | Aucun prix relevé | Q8_0 | ~80 sur 192 Go | ~13 est. | Voir le prix |
Les jetons/s sont des estimations tirées de notre formule fondée sur la bande passante (un utilisateur, ~8K de contexte, moteur de type llama.cpp), pas des bancs d’essai. Prix des cartes graphiques : carte seule. Prix US en dollars américains (USD), hors taxes et livraison. Les prix changent chaque jour : vérifiez sur la page du détaillant. Notre méthode
À quelle vitesse Llama 3.3 70B tourne-t-il sur du vrai matériel?
Les lignes Llama 3.1 70B utilisent la même architecture de 70,6B : la vitesse est la même. Ce sont des mesures, pas nos estimations.
| Matériel | Modèle / essai | tok/s mesurés | Source |
|---|---|---|---|
| Strix Halo256 Go/s | Llama 3.3 70B Q4_K_Mllama.cpp Vulkan tg128 | 4,8 | source |
| M3 Ultra 80c819 Go/s | Llama 3.3 70B 4-bitMLX (oMLX) 1K ctx | 17,0 | source |
| RTX PRO 60001 792 Go/s | Llama 3.3 70B Q4_K_Mllama.cpp tg128 | 34,0 | source |
| Framework Desktop (Strix Halo)256 Go/s | Llama 3.1 70B Q4_K_MOllama (Geerling) | 5,0 | source |
| Dell Pro Max GB10273 Go/s | Llama 3.1 70B Q4_K_MOllama (Geerling) | 4,7 | source |
| M3 Ultra 512GB819 Go/s | Llama 3.1 70B Q4_K_MOllama (Geerling) | 14,1 | source |
Tiré du jeu d’essais qui sert à calibrer notre formule de vitesse. Les 52 essais
Llama 3.3 70B rentre-t-il dans chaque machine que nous suivons?
| Machine | Prix US (USD) | Q4_K_M | Q8_0 |
|---|---|---|---|
| Mac mini M5 Pro15-core CPU / 16-core GPU, 24GB | 1 699 $ US | Ne rentre pasil faut ~46 Go | Ne rentre pasil faut ~80 Go |
| GMKtec EVO-X2Ryzen AI Max+ 395, 64GB / 1TB | 2 200 $ US | Juste~5 tok/s46 sur 48 Go | Ne rentre pasil faut ~80 Go |
| Mac Studio M5 Max18-core CPU / 32-core GPU, 36GB | 2 499 $ US | Ne rentre pasil faut ~46 Go | Ne rentre pasil faut ~80 Go |
| Mac Studio M5 Max18-core CPU / 40-core GPU, 48GB | 3 099 $ US | Ne rentre pasil faut ~46 Go | Ne rentre pasil faut ~80 Go |
| GMKtec EVO-X2Ryzen AI Max+ 395, 128GB / 1TB | 3 500 $ US | Rentre~5 tok/s46 sur 96 Go | Rentre~3 tok/s80 sur 96 Go |
| Minisforum MS-S1 MaxRyzen AI Max+ 395, 128GB / 2TB | 3 919 $ US | Rentre~5 tok/s46 sur 96 Go | Rentre~3 tok/s80 sur 96 Go |
| Beelink GTR9 ProRyzen AI Max+ 395, 128GB / 2TB | 4 349 $ US | Rentre~5 tok/s46 sur 96 Go | Rentre~3 tok/s80 sur 96 Go |
| Framework Desktop DIYRyzen AI Max+ 395, 128GB | 4 839 $ US | Rentre~5 tok/s46 sur 96 Go | Rentre~3 tok/s80 sur 96 Go |
| Gigabyte GeForce RTX 4090 Windforce V224GB card | 4 899 $ US | Ne rentre pasil faut ~46 Go | Ne rentre pasil faut ~80 Go |
| Mac Studio M5 Ultra30-core CPU / 64-core GPU, 96GB | 5 499 $ US | Rentre~23 tok/s46 sur 72 Go | Ne rentre pasil faut ~80 Go |
| Lenovo ThinkStation PGX1TB | 5 859 $ US | Rentre~5 tok/s46 sur 109 Go | Rentre~3 tok/s80 sur 109 Go |
| ASUS Ascent GX101TB | 5 999 $ US | Rentre~5 tok/s46 sur 109 Go | Rentre~3 tok/s80 sur 109 Go |
| NVIDIA DGX SparkFounders Edition, 4TB | 6 950 $ US | Rentre~5 tok/s46 sur 109 Go | Rentre~3 tok/s80 sur 109 Go |
| HP ZGX Nano G1n4TB | 7 699 $ US | Rentre~5 tok/s46 sur 109 Go | Rentre~3 tok/s80 sur 109 Go |
| Gigabyte AI TOP ATOM4TB | 8 499 $ US | Rentre~5 tok/s46 sur 109 Go | Rentre~3 tok/s80 sur 109 Go |
| NVIDIA GeForce RTX 5090 Founders Edition32GB card | 8 500 $ US | Ne rentre pasil faut ~46 Go | Ne rentre pasil faut ~80 Go |
| PNY NVIDIA RTX PRO 6000 Blackwell96GB card | 17 899 $ US | Rentre~34 tok/s46 sur 89 Go | Rentre~20 tok/s80 sur 89 Go |
| Mac Studio M5 Ultra256GB | — | Rentre~23 tok/s46 sur 192 Go | Rentre~13 tok/s80 sur 192 Go |
La compatibilité et les jetons/s sont des estimations. « Juste » signifie plus de 90 % de la mémoire utilisable : le modèle se charge, mais laisse peu de place pour un long contexte.
Questions fréquentes
Combien de mémoire faut-il pour faire tourner Llama 3.3 70B en local?
Environ 46 Go en Q4_K_M (4 bits) et 80 Go en Q8_0 (8 bits). Cela comprend les poids, le surcoût du moteur et environ 8K jetons de contexte pour un utilisateur. Un contexte plus long demande plus. Ce sont des estimations.
Quel est le matériel le moins cher qui fait tourner Llama 3.3 70B?
Parmi les machines que nous suivons, le GMKtec EVO-X2 64 Go à 2 200 $ US (GMKtec store, vérifié le 2026-10-24). Nous estimons environ 5 jetons/s en 4 bits.
À quelle vitesse Llama 3.3 70B tourne-t-il en local?
Nous estimons environ 5 à 34 jetons/s en 4 bits selon la machine, le plus rapide étant le PNY NVIDIA RTX PRO 6000 Blackwell. Les essais publiés que nous avons recueillis vont de 4,7 à 34,0 tok/s.
Peut-on faire tourner Llama 3.3 70B sur une seule carte graphique de jeu comme la RTX 4090 ou 5090?
Pas entièrement en VRAM. Il faut environ 46 Go en 4 bits, plus qu’une carte de 24 ou 32 Go. On peut en décharger une partie vers la RAM système, mais c’est beaucoup plus lent. La machine suivie la moins chère qui le contient entièrement est le GMKtec EVO-X2 64 Go à 2 200 $ US.
Un Mac peut-il faire tourner Llama 3.3 70B?
Oui. Le Mac suivi le moins cher qui le contient est le Mac Studio M5 Ultra 96 Go à 5 499 $ US, à ~23 tok/s estimés. Par défaut, macOS laisse le GPU utiliser environ 75 % de la mémoire.
Ces vitesses sont-elles mesurées ou estimées?
Le tableau donne des estimations fondées sur la bande passante mémoire, calibrées sur 43 bancs d’essai publics llama.cpp/MLX (écart médian d’environ 5 %). Le tableau des mesures donne les essais publiés, avec leurs liens.