RTX 4090En stock
Gigabyte GeForce RTX 4090 Windforce V2
24GB card
4 899 $ USchez Newegg
24 Go · 1 008 Go/s (carte seule, il faut un PC hôte)
Voir le prixChoix · 24 Go de VRAM
Meilleur LLM local pour 24 Go de VRAM
Sur une carte de 24 Go, 9 des 22 modèles ouverts suivis rentrent en 4 bits ou mieux. Le meilleur choix pour coder est Qwen3 30B-A3B (~204 tok/s sur RTX 4090, notre estimation); les modèles 70B (~46 Go) ne rentrent pas. Choix par usage ci-dessous.
Meilleurs choix pour 24 Go par usage
Code : Qwen3 30B-A3B Q4_K_M · ~204 tok/s sur RTX 4090Raisonnement : GPT-OSS 20B MXFP4 (native) · ~209 tok/s sur RTX 4090Vision : Gemma 4 31B Q4_K_M · ~43 tok/s sur RTX 4090Discussion rapide : GLM-4.7-Flash 30B-A3B Q4_K_M · ~214 tok/s sur RTX 4090
Tous les modèles qui rentrent dans 24 Go de VRAM
| Modèle | Meilleure quantification qui rentre | tok/s RTX 4090 (est.) | Mac mini M5 Pro |
|---|---|---|---|
| Qwen3.5 9Bchat, petits agents | Q8_0~12 Go | ~80 | Rentre~48 tok/s |
| Gemma 4 12Bchat, vision | Q8_0~15 Go | ~62 | Rentre~36 tok/s |
| GPT-OSS 20Braisonnement, outils | MXFP4 (native)~13 Go | ~209 | Rentre~82 tok/s |
| Gemma 4 26B-A4Bchat général rapide | Q4_K_M~18 Go | ~190 | Ne rentre pas |
| Qwen3.8 27Bcode, vision, usage général | Q4_K_M~19 Go | ~49 | Ne rentre pas |
| Gemma 3 27Bgénéral, vision | Q4_K_M~19 Go | ~48 | Ne rentre pas |
| GLM-4.7-Flash 30B-A3Bagents de code | Q4_K_M~21 Go | ~214 | Ne rentre pas |
| Qwen3 30B-A3Bchat et code rapides | Q4_K_M~21 Go | ~204 | Ne rentre pas |
| Gemma 4 31Bgénéral, vision | Q4_K_M~21 Go | ~43 | Ne rentre pas |
Carte de 24 Go dont ~93 % utilisables (~22,3 Go); 8 bits s’il rentre avec de la marge, sinon 4 bits. Génération estimée pour un utilisateur, ~8K de contexte; pour les cartes graphiques, le modèle doit tenir entièrement en VRAM. Notre méthode
Juste trop gros pour 24 Go
Qwen3 32B (~22,4 Go), DeepSeek R1 Distill Qwen 32B (~22,4 Go), Qwen3.6 35B-A3B (~23,8 Go). Il faut une carte de 32 à 48 Go, deux cartes, ou une machine à mémoire unifiée.
Vitesses mesurées sur RTX 4090
Résultats publics de génération pour un utilisateur, ceux qui servent à calibrer notre formule. Les essais diffèrent (version, réglages) : comparez à conditions égales.
| Matériel | Modèle / essai | tok/s mesurés | Notre formule | Source |
|---|---|---|---|---|
| RTX 40901 008 Go/s | Llama-2 7B Q4_0llama.cpp tg128 | 186,2 | 179,8 | source |
| RTX 40901 008 Go/s | Qwen3 32B Q4_K_Mllama.cpp tg128 | 42,0 | 40,4 | source |
| RTX 40901 008 Go/s | gpt-oss-20b MXFP4llama.cpp tg128 | 222,0 | 208,9 | source |
| RTX 40901 008 Go/s | Qwen3 30B-A3B Q4_K_Mllama.cpp tg128 (fusion off) | 198,4 | 204,4 | source |
Machines de 24 Go suivies
Mac miniDisponible
Mac mini M5 Pro
15-core CPU / 16-core GPU, 24GB
1 699 $ USchez Apple Store
24 Go · 307 Go/s
Voir le prixQuestions fréquentes
Quel est le meilleur LLM pour 24 Go de VRAM?
Par usage : code : Qwen3 30B-A3B; raisonnement : GPT-OSS 20B; vision : Gemma 4 31B; discussion rapide : GLM-4.7-Flash 30B-A3B. Tous rentrent en 4 bits ou mieux avec ~8K de contexte.
Une carte de 24 Go peut-elle faire tourner un modèle 70B?
Pas entièrement en VRAM : Llama 3.3 70B demande ~46 Go en 4 bits. Ollama peut déporter des couches en RAM système, mais cela ralentit beaucoup.
Qwen3.6 35B-A3B rentre-t-il dans 24 Go?
Non : il demande ~23,8 Go en 4 bits pour ~22,3 Go utilisables.
Une RTX 3090 vaut-elle une 4090 pour l’IA locale?
Les deux ont 24 Go : les mêmes modèles rentrent. Nous ne suivons pas encore la 3090 et ne publions donc pas de vitesses pour elle.
RTX 4090 ou Mac mini de 24 Go?
La 4090 (4 899 $ US, carte seule) offre 1 008 Go/s contre 307 Go/s et ~22 Go utilisables contre ~17 Go sur le Mac mini M5 Pro (1 699 $ US, ordinateur complet) : elle contient plus et va plus vite.