deepseek-v4.1 sur 3090 + 3080 ti avec 80go de ram : passer à 5 experts fait gagner 15%, tout le reste n'a rien donné

ce que je voulais savoir

le rapport d'ingénierie de project maya annonçait presque deux fois plus de débit en forçant le chemin pcie pour deepseek. j'avais envie de voir ce que ça donne sur ma box, et surtout quels réglages bougent vraiment le decode quand les experts du modèle ne rentrent pas dans la ram : 132 go d'experts pour 80 go de ram, le jeu se joue entre la VRAM, la ram et le ssd. j'ai pris une seule chose comme résultat : les tokens par seconde en generation.

le setup

rtx 3090 + rtx 3080 Ti (chacune en pcie 4.0 x8), ryzen 7 5700X, 80 go de DDR4-3200, nvme pcie 4. le modèle : deepseek-v4.1-flash-1017 en GSQ-RCO IQ2_XXS, le format compact qui permet de faire tenir ce monstre sur du matos de gamer, plus les modules Engram en IQ4_NL. deux moteurs sur le même paquet : strata 0.1.51 (binaire tout fait) et maya-ds4 de project maya v1.1.28 (compilé à la main pour sm_86, les cartes ampere). mesure avec le CLI du moteur lui-même, 256 tokens d'un prompt fixe, greedy, contexte 8192, une charge du modèle par run, les variantes entrelacées, deux runs chacune sauf mention.

les chiffres

un seul bouton a bougé quelque chose : passer de 6 experts routés à 5. le decode grimpe de 13,75 à 15,76 tok/s, +14,6%. et ce n'est pas un bruit du à ma machine : strata annonce +16% pour ce mode sur une rtx 5070, une box à 36 go de VRAM. le saut des experts légers sur le ssd (DS4_DISK_SKIP_W) n'a rien changé : avec 0,12 comme avec 0,14, on reste collé à la valeur par défaut. doubler les threads cpu, de 8 à 16 : rien non plus.

le dspark, la déduction spéculative qui fait deviner plusieurs tokens au lieu de les générer un par un, perd gros : 9,69 tok/s contre 13,75 en moyenne, environ 30% de perte. le moteur le prévoit lui-même quand la majorité des experts vit hors du gpu.

et maya ? ses deux runs par défaut donnent 8,25 et 9,69 tok/s ; forcer le chemin pcie donne 8,16 et 9,99. deux fois plus vite sur le papier, 35% moins vite chez moi.

pourquoi ça se passe comme ça

les journaux des moteurs, sur le même paquet, expliquent la différence. strata garde 3068 experts en VRAM avec un magasin de 64,6 go dans la ram pour les 6035 experts les plus chauds : le modèle dimensionne ce magasin à partir de la ram libre. maya n'a aucun magasin en ram : 1653 experts en VRAM, le reste lu sur le disque, environ 103 Mo par token. la version récente de strata est 40 à 65% plus rapide que maya sur cette box.

ce qui ne marche pas ici

le chemin pcie forcé du rapport maya a besoin que les experts soient copiés en ram : 108 go pour ce modèle, mes 80 go n'y suffisaient pas. il est aussi réservé à un seul gpu. donc le gain annoncé ne descend pas sur une machine où la ram ne loge pas les experts ; et maya v1.1.28 a lâché le streaming pour un format après ses mesures, avec tous les experts en ram il annonce lui-même +34,6% plus lent. côté build : la compilation de maya-ds4 a échoué sur un cuda_profiler_api.h manquant dans le toolkit CUDA 12.8, les en-têtes nvidia-cuda-profiler-api installés par pip ont réglé ça.

ce que je garde

5 experts au lieu de 6 : c'est LE réglage à activer sur une box où les experts débordent de la ram, +14,6% ici. pour le reste, ma liste d'idées reçues ne tient pas : dspark perd 30%, plus de threads cpu ne sert à rien quand le travail est lié aux données du disque, sauter des experts ssd ne change rien (sans doute parce que la lane cpu lit en place depuis les fichiers déjà en cache de page), et maya n'a aucun intérêt sur une machine qui ne peut pas loger les experts en ram. la qualité du mode 5 experts, je ne l'ai pas mesurée : à vérifier avant d'en faire un réglage par défaut.