Moonshot AI’s latest open-weight flagship, Kimi K3, scales to nearly 3 trillion parameters and almost 1,000 experts, forcing a rethinking of information flow across sequence length, network depth, and model width.

For sequence handling, the architecture employs a hybrid attention mechanism that interleaves Kimi Delta Attention (KDA) and Multi-head Latent Attention (MLA) layers at a 3:1 ratio. KDA layers maintain a constant-size recurrent state to limit memory consumption, while MLA layers preserve global context. Network depth benefits from an Attention Residuals mechanism that replaces standard residual connections, enabling each layer to selectively retrieve and weight representations from all preceding blocks.

To stabilize training across the 896 experts, Kimi K3 introduces Stable LatentMoE, which balances expert load to prevent under- or over-utilization. Additionally, instead of routing the full hidden dimension through each of the 16 experts activated per token, the architecture first compresses inputs into a lower-dimensional latent space where experts compute, then expands outputs back to the original dimension.

Post-training combined supervised fine-tuning, reinforcement learning, and distillation, with the context window gradually extended to one million tokens. For expert parallelism, Moonshot AI built a custom library that leverages static computation forms: each token is assigned fixed memory buffers, eliminating dynamic size-change instructions on the GPU. To support agentic workflows, training harnessed microVMs capable of suspending and relaunching sandboxes in tens of milliseconds, and elementary KDA block operations were fused into a single tailored GPU kernel. According to the company, these techniques delivered 2.5× the scaling efficiency of Kimi K2.

Kimi K3 ships with inference tooling for vLLM, SGLang, and TokenSpeed. Its MIT-like license is highly permissive except for large enterprises: any model-as-a-service (MaaS) provider that, including subsidiaries, has generated at least $20 million in revenue over the trailing 12 months must negotiate a commercial agreement with Moonshot AI. Separately, any commercial product or service with more than 100 million monthly active users and/or at least $20 million in monthly revenue is required to display “Kimi K3” on its user interface—this applies even if the product is not a MaaS offering. For context, Meta imposes a similar constraint on its Llama models, requiring a commercial license for services with over 700 million monthly active users.

À une échelle de quasiment 3000 milliards de paramètres et près de 1000 experts, il faut repenser la circulation de l’information.

Ce chantier a guidé le développement du dernier flagship open-weight de Moonshot AI : Kimi K3. Il s’est décliné sur trois dimensions : longueur de séquence, profondeur de réseau et largeur de modèle.

Sur le premier aspect, Moonshot AI a exploité un mécanisme d’attention hybride. Il entrelace, à raison de 3 pour 1, des couches KDA (Kimi Delta Attention) et MLA (Multi-head Latent Attention). Les unes exploitent un état récurrent de taille constante pour limiter l’empreinte mémoire. Les autres permettent de maintenir le contexte global.

Le mécanisme dit Attention Residuals agit sur le deuxième aspect. Il remplace la connexion résiduelle classique et permettant à chaque couche de récupérer et pondérer de manière sélective les représentations issues de l’ensemble des blocs précédents.

Stable LatentMoE intervient sur le troisième aspect. Comm son nom l’indique, il stabilise l’entraînement à l’échelle des 896 experts de Kimi K3. Son rôle : équilibrer la charge, pour éviter que certains soient sous-utilisés ou surutilisés. En complément, plutôt que de faire passer la totalité de la dimension cachée à travers chacun des 16 experts que sélectionne chaque token, l’architecture les compresse dans un espace latent de plus faible dimension où les experts effectuent leurs calculs. Les sorties sont ensuite réétendues vers la dimension d’origine.

Des microVM pour tenir le million de tokens

Le post-entraînement a combiné fine-tuning supervisé, apprentissage par renforcement et distillation. La fenêtre de contexte a été progressivement étendue, jusqu’au million de tokens.

Pour gérer le parallélisme des experts, Moonshot AI a développé sa propre bibliothèque. Elle exploite notamment des formes de calcul statiques. Elle réserve en l’occurrence à chaque token des tampons mémoire fixes, de sorte que le GPU n’a plus à exécuter des instructions dynamiques de changement de taille.

Pour maintenir la trajectoire d’attention dans le cadre des usages agentiques, l’entraînement a mis à contribution des microVM permettant de suspendre les sandbox et de les relancer en quelques dizaines de millisecondes. Moonshot AI y a ajouté un regroupement des opérations élémentaires des blocs KDA dans un unique noyau GPU personnalisé.

L’ensemble de ces techniques lui a permis affirme-t-il, d’atteindre un rendement d’échelle 2,5 fois supérieur à celui de Kimi K2.

Kimi K3, sous licence permissive, mais…

Kimi K3 est fourni avec de l’outillage d’inférence pour vLLM, SGLang et TokenSpeed. Il a une licence MIT-like très permissive… sauf pour les grandes entreprises.

Celles qui fournissent une offre MaaS (models as a service) doivent négocier un accord commercial avec Moonshot AI dès lors qu’elles ont déjà – filiales comprises – réalisé au moins 20 M$ de CA sur 12 mois glissants.

Une autre exigence s’applique. Elle n’est pas limitée aux fournisseurs MaaS. Elle impose d’afficher clairement « Kimi K3 » sur l’UI de tout produit ou service commercial qui compte plus de 100 millions d’utilisateurs actifs par mois et/ou dégage au moins 20 M$ de chiffre d’affaires mensuel.

Meta impose une limite du même genre pour ses modèles Llama à poids ouverts. Doit prendre une licence commerciale quiconque exploite des produits ou services comptant plus de 700 millions d’utilisateurs actifs par mois.

À consulter en complément :

Qui est Moonshot AI, l’éditeur des modèles Kimi ?Mistral AI change d’approche pour l’apprentissage par renforcement

AMD entre vraiment dans le jeu des racks IA exascale

L’IA agentique change les méthodes de travail : Doctolib l’expérimente auprès de ses développeurs

Cohere et Aleph Alpha : les noces de l’IA souveraine

Illustration principale générée par IA

The post Kimi K3 : comment Moonshot AI est passé à l’échelle appeared first on Silicon.fr.