Usage · Code
IA locale pour coder : quels modèles et quel matériel
Pour coder en local, Qwen3.6 35B-A3B est le choix rapide : ~24 Go en 4 bits; il tourne sur un GMKtec EVO-X2 64GB (2 200 $ US) à ~72 tok/s selon notre estimation. Pour un modèle plus gros comme Qwen3.5 122B-A10B (~79 Go), la machine suivie la moins chère est le GMKtec EVO-X2 128GB à 3 500 $ US.
Modèles pour coder et matériel le moins cher pour chacun
| Modèle pour coder | Mémoire 4 bits | Machine la moins chère | Ordinateur complet le moins cher | Machine suivie la plus rapide |
|---|---|---|---|---|
| Qwen3.8 27Bcode, vision, usage général · 27B | ~19 Go | GMKtec EVO-X2 64GB2 200 $ US · ~12 tok/s | idem | NVIDIA GeForce RTX 5090 Founders Edition8 500 $ US · ~83 tok/s |
| GLM-4.7-Flash 30B-A3Bagents de code · 30B (3B actifs) | ~21 Go | GMKtec EVO-X2 64GB2 200 $ US · ~72 tok/s | idem | NVIDIA GeForce RTX 5090 Founders Edition8 500 $ US · ~269 tok/s |
| Qwen3 30B-A3Bchat et code rapides · 30,5B (3,3B actifs) | ~21 Go | GMKtec EVO-X2 64GB2 200 $ US · ~67 tok/s | idem | NVIDIA GeForce RTX 5090 Founders Edition8 500 $ US · ~260 tok/s |
| Qwen3 32Bgénéral, code, raisonnement · 32,8B | ~22 Go | GMKtec EVO-X2 64GB2 200 $ US · ~10 tok/s | idem | NVIDIA GeForce RTX 5090 Founders Edition8 500 $ US · ~70 tok/s |
| Qwen3.6 35B-A3Bcode et chat rapides · 35B (3B actifs) | ~24 Go | GMKtec EVO-X2 64GB2 200 $ US · ~72 tok/s | idem | NVIDIA GeForce RTX 5090 Founders Edition8 500 $ US · ~269 tok/s |
| Mistral Small 4 119B-A6Bchat, raisonnement, code, vision · 119,4B (6,5B actifs) | ~78 Go | GMKtec EVO-X2 128GB3 500 $ US · ~41 tok/s | idem | PNY NVIDIA RTX PRO 6000 Blackwell17 899 $ US · ~194 tok/s |
| Qwen3.5 122B-A10Btrès bon en général et en code · 122B (10B actifs) | ~79 Go | GMKtec EVO-X2 128GB3 500 $ US · ~29 tok/s | idem | PNY NVIDIA RTX PRO 6000 Blackwell17 899 $ US · ~152 tok/s |
Génération estimée pour un utilisateur, ~8K de contexte; pour les cartes graphiques, le modèle doit tenir entièrement en VRAM. Modèles marqués « code » dans notre catalogue; nous ne classons pas la qualité du code : consultez les classements de code à jour pour cela. Notre méthode
Trop gros pour une seule machine suivie en 4 bits : Muse Spark Open 816B-A42B (~521 Go)
Dense ou MoE pour coder?
Les modèles à mélange d’experts (MoE) ne lisent que leurs poids actifs à chaque jeton : ils génèrent bien plus vite sur le même matériel. Sur le GMKtec EVO-X2 64GB (2 200 $ US), nous estimons Qwen3.8 27B (dense) à ~12 tok/s et Qwen3.6 35B-A3B (3B actifs) à ~72 tok/s. Les outils de code agentiques génèrent beaucoup de jetons par tâche : l’écart compte.
Les agents de code remplissent aussi de longs contextes avec des fichiers et des diffs. Notre compatibilité suppose ~8K jetons; prévoyez de la marge pour des sessions de 32K à 128K (voir le calculateur de VRAM).
Vitesses mesurées sur des modèles de code
Résultats publics de génération pour un utilisateur, ceux qui servent à calibrer notre formule. Les essais diffèrent (version, réglages) : comparez à conditions égales.
| Matériel | Modèle / essai | tok/s mesurés | Notre formule | Source |
|---|---|---|---|---|
| DGX Spark273 Go/s | Qwen2.5-Coder 7B Q8_0llama.cpp tg32 | 29,4 | 26,0 | source |
| DGX Spark273 Go/s | Qwen3-Coder 30B-A3B Q8_0llama.cpp tg32 | 61,1 | 49,8 | source |
| DGX Spark273 Go/s | GLM-4.7-Flash Q8_0llama.cpp tg32 | 48,7 | 53,9 | source |
| DGX Spark273 Go/s | Qwen3.5-122B-A10B Q5_K_Sllama.cpp tg128 | 23,0 | 27,7 | source |
| Strix Halo256 Go/s | Qwen3 30B-A3B Q4_K_Mllama.cpp Vulkan tg128 | 85,5 | 67,3 | source |
| Strix Halo256 Go/s | Qwen3 30B-A3B UD-Q4_K_XLllama.cpp Vulkan tg128 | 75,3 | 67,3 | source |
| Strix Halo256 Go/s | Qwen3-Coder-Next 80B-A3B Q4_K_Mllama.cpp Vulkan tg128 | 57,5 | 71,5 | source |
| M5 Max 40c614 Go/s | Qwen3.6-27B Q8_0llama.cpp decode@128 | 18,0 | 18,9 | source |
| M5 Max 40c614 Go/s | Qwen3.6-35B-A3B Q8_0llama.cpp decode@128 | 93,0 | 90,3 | source |
| RTX 50901 792 Go/s | Qwen3.6-27B Q4_K_Mllama.cpp tg128 | 77,1 | 81,3 | source |
| RTX 50901 792 Go/s | Qwen3.6-35B-A3B UD-Q4_K_Mllama.cpp tg128 | 271,0 | 268,6 | source |
| RTX 40901 008 Go/s | Qwen3 32B Q4_K_Mllama.cpp tg128 | 42,0 | 40,4 | source |
| RTX 40901 008 Go/s | Qwen3 30B-A3B Q4_K_Mllama.cpp tg128 (fusion off) | 198,4 | 204,4 | source |
| Strix Halo256 Go/s | Qwen3.6 35B-A3B Q4_K_MOllama/llama.cpp | 63,0 | 71,5 | source |
| RTX 50901 792 Go/s | Qwen3 30B-A3B Q4_K_Mllama.cpp + GGML_CUDA_GRAPH_OPT=1 | 352,1 | 260,1 | source |
Questions fréquentes
Quel est le meilleur LLM local pour coder?
Cela dépend de votre mémoire. Qwen3.6 35B-A3B est un modèle MoE rapide pour coder qui demande ~24 Go en 4 bits; Qwen3.8 27B est une alternative dense à ~19 Go; Qwen3.5 122B-A10B demande ~79 Go. Nous suivons le matériel et la vitesse, pas la qualité du code : comparez aussi les classements de code à jour.
Quel matériel pour faire tourner un modèle de code en local?
Pour Qwen3.6 35B-A3B, ~24 Go de VRAM ou de mémoire unifiée : l’option suivie la moins chère est le GMKtec EVO-X2 64GB à 2 200 $ US.
Peut-on faire tourner un modèle de code sur une carte de 24 Go?
Oui pour Qwen3.8 27B, GLM-4.7-Flash 30B-A3B, Qwen3 30B-A3B en 4 bits avec ~8K de contexte. Un contexte plus long demande plus de marge.
Pourquoi les modèles MoE sont-ils plus rapides pour coder?
La vitesse de génération dépend du nombre d’octets lus par jeton. Un modèle MoE ne lit que ses experts actifs : un modèle de 35B avec 3B actifs génère bien plus vite qu’un modèle dense de 27B sur le même matériel.
Peut-on faire tourner Muse Spark Open 816B-A42B en local?
Pas sur une seule machine que nous suivons : il demande ~521 Go en 4 bits, plus que la mémoire utilisable de la plus grosse machine suivie.