EN

Guide par budget · Modèles 70B

Faire tourner un modèle 70B en local au meilleur prix

La machine suivie la moins chère qui contient Llama 3.3 70B en 4 bits (~46 Go) est le GMKtec EVO-X2 à 2 200 $ US (64 Go, ~5 tok/s, rentre de justesse). Meilleur prix par jeton/s : Mac Studio M5 Ultra (5 499 $ US, ~23 tok/s).

Le plus rapide : PNY NVIDIA RTX PRO 6000 Blackwell, à ~34 tok/s pour 17 899 $ US (carte seule, il faut un PC hôte). Un 70B dense lit tous ses poids à chaque jeton : sa vitesse suit donc presque exactement la bande passante mémoire.

Quelles machines peuvent faire tourner Llama 3.3 70B, de la moins chère à la plus chère?

MachinePrix US (USD)MémoireBande passanteCompatibilité et vitesse est. en 4 bits$ US par tok/s
GMKtec EVO-X2Strix Halo2 200 $ US64 Go256 Go/s
Juste~5 tok/s
456,09 $ US
GMKtec EVO-X2Strix Halo3 500 $ US128 Go256 Go/s
Rentre~5 tok/s
725,60 $ US
Minisforum MS-S1 MaxStrix Halo3 919 $ US128 Go256 Go/s
Rentre~5 tok/s
812,46 $ US
Beelink GTR9 ProStrix Halo4 349 $ US128 Go256 Go/s
Rentre~5 tok/s
901,61 $ US
Framework Desktop DIYStrix Halo4 839 $ US128 Go256 Go/s
Rentre~5 tok/s
1 003 $ US
Mac Studio M5 UltraMac Studio5 499 $ US96 Go1 200 Go/s
Rentre~23 tok/s
241,41 $ US
Lenovo ThinkStation PGXDGX Spark / GB105 859 $ US128 Go273 Go/s
Rentre~5 tok/s
1 183 $ US
ASUS Ascent GX10DGX Spark / GB105 999 $ US128 Go273 Go/s
Rentre~5 tok/s
1 211 $ US
NVIDIA DGX SparkDGX Spark / GB106 950 $ US128 Go273 Go/s
Rentre~5 tok/s
1 403 $ US
HP ZGX Nano G1nDGX Spark / GB107 699 $ US128 Go273 Go/s
Rentre~5 tok/s
1 554 $ US
Gigabyte AI TOP ATOMDGX Spark / GB108 499 $ US128 Go273 Go/s
Rentre~5 tok/s
1 716 $ US
PNY NVIDIA RTX PRO 6000 BlackwellRTX PRO 6000 (carte seule, il faut un PC hôte)17 899 $ US96 Go1 792 Go/s
Rentre~34 tok/s
528,60 $ US

Llama 3.3 70B en Q4_K_M, ~8K de contexte, un utilisateur. « $ US par tok/s » = prix ÷ notre vitesse estimée. Prix des cartes graphiques : carte seule. Trop petit pour lui : tout le reste de ce que nous suivons, jusqu’au Mac Studio M5 Max (48 Go). Notre méthode

Quelle est la vitesse des modèles 70B dans de vrais bancs d’essai?

MatérielModèle / essaitok/s mesurésNotre formuleSource
Strix Halo256 Go/sLlama 3.3 70B Q4_K_Mllama.cpp Vulkan tg1284,84,8source
M3 Ultra 80c819 Go/sLlama 3.3 70B 4-bitMLX (oMLX) 1K ctx17,016,8source
RTX PRO 60001 792 Go/sLlama 3.3 70B Q4_K_Mllama.cpp tg12834,033,8source
Framework Desktop (Strix Halo)256 Go/sLlama 3.1 70B Q4_K_MOllama (Geerling)5,04,8source
Dell Pro Max GB10273 Go/sLlama 3.1 70B Q4_K_MOllama (Geerling)4,74,9source
M3 Ultra 512GB819 Go/sLlama 3.1 70B Q4_K_MOllama (Geerling)14,115,7source

Résultats publics de génération pour un utilisateur, utilisés pour la calibration.

Quelles sont les options les moins chères?

Strix HaloDisponible

GMKtec EVO-X2

Ryzen AI Max+ 395, 64GB / 1TB

2 200 $ USchez GMKtec store

64 Go · 256 Go/s

Juste~5 tok/sLlama 3.3 70B
Voir le prix
Strix HaloDisponible

GMKtec EVO-X2

Ryzen AI Max+ 395, 128GB / 1TB

3 500 $ USchez GMKtec store

128 Go · 256 Go/s

Rentre~5 tok/sLlama 3.3 70B
Voir le prix
Strix HaloDisponible

Minisforum MS-S1 Max

Ryzen AI Max+ 395, 128GB / 2TB

3 919 $ USchez Minisforum store

128 Go · 256 Go/s

Rentre~5 tok/sLlama 3.3 70B
Voir le prix
Strix HaloPrécommande

Beelink GTR9 Pro

Ryzen AI Max+ 395, 128GB / 2TB

4 349 $ USchez Beelink store

128 Go · 256 Go/s

Rentre~5 tok/sLlama 3.3 70B
Voir le prix

Questions fréquentes

Quelle est la façon la moins chère de faire tourner un modèle 70B en local?

Parmi les machines que nous suivons, le GMKtec EVO-X2 à 2 200 $ US (GMKtec store, vérifié le 2026-10-24). Il a 64 Go, dont environ 48 Go utilisables, et nous estimons ~5 tok/s pour Llama 3.3 70B en 4 bits.

Combien de mémoire faut-il pour un modèle 70B?

Environ 46 Go en 4 bits (Q4_K_M) et 80 Go en 8 bits, avec ~8K de contexte.

Une seule RTX 4090 ou 5090 peut-elle faire tourner Llama 70B?

Pas entièrement en VRAM en 4 bits : 24 ou 32 Go, c’est bien moins que les ~46 Go nécessaires. On peut décharger des couches vers la RAM système, mais la vitesse chute fortement. Nous ne suivons pas les configurations multi-GPU.

Quelle est la vitesse d’un 70B sur du matériel abordable?

Mesures publiques : Strix Halo 4,8 tok/s; M3 Ultra 80c 17,0 tok/s; RTX PRO 6000 34,0 tok/s; Framework Desktop (Strix Halo) 5,0 tok/s; Dell Pro Max GB10 4,7 tok/s; M3 Ultra 512GB 14,1 tok/s. Les boîtiers à mémoire unifiée autour de 256 à 273 Go/s tournent à environ 5 tok/s.

Un modèle 70B vaut-il mieux qu’un gros modèle MoE?

Sur les machines limitées par la bande passante, les modèles à mélange d’experts comme GPT-OSS 120B ou Qwen3.5 122B-A10B rentrent dans une mémoire similaire et tournent plusieurs fois plus vite, car ils ne lisent que leurs paramètres actifs à chaque jeton.

Guides associés

Alertes baisse de prix et retour en stock

Un court courriel par semaine (en anglais pour l’instant) : ce qui a baissé, ce qui est de retour en stock et les nouveaux modèles ouverts que votre machine peut faire tourner. Désabonnement en un clic.