EN

Est-ce que ça tourne? · Llama 3.3 70B sur DGX Spark

Le DGX Spark peut-il faire tourner Llama 70B?

Oui, mais lentement. Llama 3.3 70B demande environ 46 Go en Q4_K_M et un DGX Spark offre ~109 Go utilisables sur 128 Go : il rentre donc. Comme chaque jeton lit les 70B de poids à 273 Go/s, nous estimons seulement ~5 tok/s en 4 bits (3 tok/s en Q8_0, qui demande ~80 Go).

Le seul essai public de 70B que nous avons trouvé sur un boîtier GB10 a mesuré 4,7 tok/s (Dell Pro Max GB10, Ollama (Geerling)), contre 4,9 selon notre formule.

Quelle est la vitesse d’un modèle 70B sur un DGX Spark?

Q4_K_M (4 bits)Q8_0 (8 bits)
Mémoire nécessaire~46 Go~80 Go
Utilisable sur le DGX Spark~109 Go~109 Go
Compatibilité
Rentre~5 tok/s
Rentre~3 tok/s

Mémoire = poids + 1,5 Go + 5 % des poids (~8K de contexte, un utilisateur). Vitesse = 1 ÷ (Go actifs ÷ (77 % × 273 Go/s) + surcoût par jeton). Notre méthode

Comment les essais 70B mesurés se comparent-ils à nos estimations?

MatérielModèle / essaitok/s mesurésNotre formuleSource
Strix Halo256 Go/sLlama 3.3 70B Q4_K_Mllama.cpp Vulkan tg1284,84,8source
M3 Ultra 80c819 Go/sLlama 3.3 70B 4-bitMLX (oMLX) 1K ctx17,016,8source
RTX PRO 60001 792 Go/sLlama 3.3 70B Q4_K_Mllama.cpp tg12834,033,8source
Framework Desktop (Strix Halo)256 Go/sLlama 3.1 70B Q4_K_MOllama (Geerling)5,04,8source
Dell Pro Max GB10273 Go/sLlama 3.1 70B Q4_K_MOllama (Geerling)4,74,9source
M3 Ultra 512GB819 Go/sLlama 3.1 70B Q4_K_MOllama (Geerling)14,115,7source

Résultats publics de génération pour un utilisateur, utilisés pour calibrer la formule. Liste complète : nos estimations face à 52 vrais bancs d’essai.

Comment le DGX Spark se compare-t-il aux autres machines pour Llama 70B?

MachinePrix US (USD)Bande passanteCompatibilité et vitesse est. en 4 bits
PNY NVIDIA RTX PRO 6000 BlackwellRTX PRO 6000 (carte seule, il faut un PC hôte)17 899 $ US1 792 Go/s
Rentre~34 tok/s
Mac Studio M5 UltraMac Studio5 499 $ US1 200 Go/s
Rentre~23 tok/s
Lenovo ThinkStation PGXDGX Spark / GB105 859 $ US273 Go/s
Rentre~5 tok/s
GMKtec EVO-X2Strix Halo2 200 $ US256 Go/s
Juste~5 tok/s

La config avec prix la moins chère de chaque plateforme où il rentre, de la plus rapide à la plus lente. La vitesse d’un 70B dense suit presque exactement la bande passante mémoire. Plus de détails : meilleur matériel pour Llama 3.3 70B.

À quoi le DGX Spark est-il le plus utile?

Les 128 Go du Spark servent mieux les gros modèles à mélange d’experts, qui ne lisent qu’une partie de leurs poids à chaque jeton :

Quels boîtiers DGX Spark et GB10 suivons-nous?

DGX SparkDisponible

NVIDIA DGX Spark

Founders Edition, 4TB

6 950 $ USchez NVIDIA Marketplace

128 Go · 273 Go/s

Rentre~5 tok/sQ4_K_M
Voir le prix

Questions fréquentes

Le DGX Spark peut-il faire tourner Llama 3.3 70B?

Oui. En Q4_K_M, il faut environ 46 Go et le Spark offre ~109 Go utilisables : il rentre, avec de la marge pour un contexte plus long. Comptez environ 5 jetons/s (notre estimation) pour un utilisateur.

Quelle est la vitesse de Llama 70B sur un DGX Spark?

Environ 5 tok/s en 4 bits et 3 tok/s en 8 bits selon notre formule fondée sur la bande passante. Un essai public sur Dell Pro Max GB10 a mesuré 4,7 tok/s. C’est lisible, mais lent pour le chat; le traitement du prompt est le point fort du Spark.

Quel est le boîtier de type DGX Spark le moins cher?

Parmi les boîtiers GB10 que nous suivons, le Lenovo ThinkStation PGX à 5 859 $ US (B&H Photo, vérifié le 2026-10-24). Ils partagent tous la même puce GB10, 128 Go et 273 Go/s : la vitesse en 70B est donc la même sur chacun.

Le DGX Spark peut-il faire tourner Llama 70B en 8 bits?

Oui : le Q8_0 demande environ 80 Go sur les ~109 Go utilisables, mais la vitesse tombe à ~3 tok/s.

Quels modèles tournent mieux que Llama 70B sur un DGX Spark?

Les modèles à mélange d’experts (MoE) ne lisent que leurs poids actifs à chaque jeton, ils sont donc bien plus rapides : Qwen3.5 122B-A10B ~31 tok/s; Nemotron 3 Super 120B-A12B ~26 tok/s; GPT-OSS 120B ~61 tok/s; Llama 4 Scout 109B-A17B ~19 tok/s.

Guides associés

Alertes baisse de prix et retour en stock

Un court courriel par semaine (en anglais pour l’instant) : ce qui a baissé, ce qui est de retour en stock et les nouveaux modèles ouverts que votre machine peut faire tourner. Désabonnement en un clic.