DeepSeek has released two new models in preview, DeepSeek-V4-Pro and DeepSeek-V4-Flash, marking a significant step toward a fully Chinese AI stack. The launch comes amid heightened geopolitical tensions, with NVIDIA CEO Jensen Huang recently warning that DeepSeek models could eventually run better on Huawei chips than on NVIDIA hardware.

Huawei claims that training of the V4 models was partially conducted on its Ascend NPUs, though it provided no further details. Most of the training appears to have been done on NVIDIA GPUs, potentially including Blackwell chips, which would violate US export restrictions. Washington has made such allegations, and DeepSeek’s history with Huawei chips—including significant problems training the R2 model—lends credibility to these claims.

NVIDIA’s concern is less about losing training workloads and more about inference. Huawei asserts that its Supernode servers, equipped with Ascend chips, now “fully” support DeepSeek-V4 models, implying better compatibility than with earlier versions. Crucially, DeepSeek appears to have prioritized Huawei’s CANN framework over NVIDIA’s CUDA. This shift in software ecosystem is the core threat for Huang, especially given US export bans on many NVIDIA GPUs to China and Beijing’s own block on H200 imports to promote self-sufficiency.

Model details and architecture

DeepSeek-V4-Pro has 1.6 trillion parameters (49 billion active), while DeepSeek-V4-Flash has 284 billion (13 billion active). Both are released under the MIT open-weight license. Each offers three reasoning levels and a context window of 1 million tokens (384,000 for output). They are available via API, though multimodal capabilities remain absent—DeepSeek has released OCR models but does not prioritize vision.

At maximum context, DeepSeek-V4-Pro consumes 73% fewer flops per token than DeepSeek-V3.2, with a 90% reduction in key-value cache footprint. For V4-Flash, the reductions are 90% and 93% respectively. These efficiencies enable inference scaling and support emerging paradigms like “hot” learning.

Architecturally, DeepSeek introduces hybrid attention, interleaving two mechanisms:

• Compressed Sparse Attention (CSA): compresses KV caches in groups of m tokens and applies sparse attention (selecting the k best tokens).
• Heavily Compressed Attention (HCA): compresses more aggressively (more tokens per group) but uses dense attention.

DeepSeek also improved residual connections to enhance signal propagation between layers, and stabilized training by implementing the Muon optimizer—a first for a MoE model of this scale.

Infrastructure and inference optimizations

To reduce overhead from expert parallelism, DeepSeek merged communication and computation pipelines, finding that the system could tolerate lower bandwidth without performance loss. Experts are scheduled in waves: once communication within a wave completes, computation begins immediately without waiting for other experts.

During training, expert weights were stored in FP4, forcing the models to adapt to reduced precision. DeepSeek also incorporated techniques whose theoretical foundations it does not fully understand, such as “anticipatory” routing index computation, which improved training stability.

A dedicated “agentic AI” sandbox was built, exposed via a Python SDK with four execution modes:

• Function call (distributed invocations to a pool of pre-warmed containers)
• Container (on-demand EROFS loading)
• MicroVM (Firecracker-based)
• Full VM (QEMU-based)

Currently, the `deepseek-trainer` and `deepseek-chat` endpoints point to DeepSeek-V4-Flash with and without reasoning, respectively. These endpoints are scheduled for removal in July.

Gare au jour où les modèles DeepSeek fonctionneront mieux sur les puces Huawei…

Jensen Huang, patron de NVIDIA, a brandi l’épouvantail il y a quelques jours. En toile de fond, le lancement imminent de la génération DeepSeek-V4. Et les rumeurs à son sujet. En particulier, une compatibilité améliorée avec les NPU Ascend de Huawei.

Le jour est arrivé… ou peut-être pas. Ce 24 avril, DeepSeek a en tout cas publié deux modèles V4, en préversion. Huawei affirme que leur entraînement s’est fait en partie sur ses puces, sans en dire davantage. Le gros du travail semble toutefois avoir été réalisé sur du NVIDIA. Y compris, potentiellement, du Blackwell, au mépris des restrictions américaines à l’export. C’est tout du moins ce qu’on prétend à Washington. Des allégations que tend à accréditer l’historique de DeepSeek avec les puces Huawei : l’entraînement du modèle R2 a posé des problèmes, et pas des moindres.

NVIDIA ne s’inquiète pas tant d’être court-circuité sur l’entraînement que sur l’inférence. En la matière, Huawei clame que ses serveurs Supernode – dotés de puces Ascend – gèrent « pleinement » les modèles DeepSeek-V4, laissant entendre que la prise en charge est meilleure que pour les générations précédentes. Surtout, DeepSeek paraît avoir privilégié le framework CANN de Huawei… aux dépens de CUDA. Là est le cœur du problème pour Jensen Huang : un risque de basculement de l’écosystème logiciel. Il l’estime d’autant plus probable dans le contexte des restrictions américaines à l’export de nombreux GPU NVIDIA vers la Chine. Pékin, dans sa volonté d’autosuffisance, a lui-même apporté sa pierre à l’édifice, bloquant les importations de H200.

À long contexte, attention hybride

Les modèles DeepSeek-V4-Pro (1600 milliards de paramètres dont 49 milliards actifs) et DeepSeek-V4-Flash (284/13) sont publiés en open-weight (licence MIT). Chacun a trois niveaux de raisonnement et une fenêtre de contexte d’un million de tokens (384 000 en sortie). Ils sont aussi disponibles sur l’API*. Pour la multimodalité, on attendra : ce n’est toujours pas une priorité de DeepSeek, même s’il a déjà sorti des modèles d’OCR.

À contexte maximal, DeepSeek-V4-Pro consomme 73 % moins de flops par token que DeepSeek-V3.2, nous annonce-t-on. Et l’empreinte du cache clé-valeur diminue de 90 %. Avec DeepSeek-V4-Flash, les rapports sont respectivement de 90 et 93 %. Ce qui favorise la mise à l’échelle de l’inférence, tout en ouvrant la voie à la mise en œuvre de paradigmes émergents tel l’apprentissage « à chaud ».

Entre autres innovations architecturales, DeepSeek a mis en place une attention hybride. Elle entrelace deux mécanismes. L’un, dit CSA (Compressed Sparse Attention), compresse les caches KV par groupes de m tokens et y associe une attention parcimonieuse (sélection des k meilleurs tokens).

L’autre, dit HCA (Heavily Compressed Attention), compresse plus agressivement (davantage de tokens par groupe), mais utilise une attention dense.

DeepSeek a aussi introduit une technique qui améliore les connexions résiduelles, et par là même la propagation du signal entre les couches. Il a par ailleurs stabilisé l’entraînement et accéléré la convergence en implémentant l’optimiseur Muon – une première sur un modèle MoE de cet ordre de grandeur.

Habituer les modèles à travailler en précision réduite

Au niveau infrastructure, des ajustements ont été effectués pour limiter la surcharge liée à la parallélisation des experts. Constatant que le système pouvait tolérer une bande passante réduite sans dégradation de la performance d’ensemble, DeepSeek a fusionné les pipelines de communication et de calcul. Pour réduire davantage la bande passante nécessaire, il a planifié les experts par vagues. Une fois la communication achevée au sein d’une vague, le calcul peut commencer immédiatement, sans attendre les autres experts.

Pour accélérer l’inférence, le stockage des poids des experts s’est fait en FP4 lors de l’entraînement. Les modèles se sont ainsi adaptés à travailler avec une précision réduite.

DeepSeek a intégré plusieurs techniques dont il n’a pas pleinement saisi les fondements. Par exemple, une forme de calcul « anticipé » des index de routage, qui s’avère améliorer la stabilité de l’entraînement. Il a aussi conçu une sandbox « spécial IA agentique ». Exposée via un SDK Python, elle donne accès à 4 modes d’exécution :

Appel de fonction (invocations distribuées vers un pool de conteneurs « préchauffés »)

Conteneur (chargement EROFS à la demande)

MicroVM (base Firecracker)

VM complète (base QEMU)

Architecture des modèles DeepSeek-V4

* Pour le moment, les endpoints deepseek-trainer et deepseek-chat pointent respectivement sur DeepSeek-V4-Flash avec et sans raisonnement. DeepSeek prévoit de les supprimer en juillet.

Illustration principale générée par IA

The post DeepSeek-V4 ou la perspective sérieuse d’une stack IA chinoise appeared first on Silicon.fr.