Mistral AI has unveiled two new models—Leanstral 1.5 and Robostral Navigate—both fine-tuned using CISPO, a reinforcement learning algorithm proposed in 2025 by the team behind the MiniMax-M1 model. CISPO addresses a known limitation of DeepSeek’s GRPO (Group Relative Policy Optimization), which avoids unstable parameter updates by clipping token gradients. On long reasoning chains, this discards low-probability but critical “reflexive” tokens (e.g., However, Recheck, Wait, Aha) that enable error correction. CISPO instead clips importance sampling weights, allowing all tokens to be exploited.

Leanstral 1.5, an Apache 2.0-licensed mixture-of-experts model with 6 billion active parameters (119 billion total), derives from Mistral Small 4. It uses the Lean language for programmatic verification, mathematically proving the correctness of generated code. Robostral Navigate is an 8-billion-parameter onboard navigation model that operates with a single RGB camera—no lidar or depth sensors—and generalizes across robot types. It navigates by pointing: given a task and observation history, it infers the target location’s coordinates in the field of view and determines arrival orientation; if the target is outside the field of view, it switches to local coordinates, which are more sensitive to camera intrinsics.

Mistral AI reports that incorporating CISPO improved success rates by 3.2%, though it does not specify the baseline. The highlighted performance is a 76.6% score on the R2R-CE (Room-to-Room in Continuous Environments) metric using the previously unseen portion of the validation dataset.

Leanstral 1.5, puis Robostral Navigate : à quelques jours d’intervalle, Mistral AI a présenté deux modèles qui utilisent CISPO.

Cet algorithme d’apprentissage par renforcement a été proposé en 2025 par les créateurs du modèle MiniMax-M1. Il s’inscrit dans la lignée de la méthode GRPO, qu’on doit à DeepSeek.

GRPO (Group Relative Policy Optimization) n’implique pas de réseau de neurones distinct pour le calcul des récompenses. Pour chaque prompt, il produit plusieurs réponses et utilise leur moyenne comme référence, à renfort de fonctions programmables. Pour éviter les mises à jour de paramètres instables, il écrête les gradients des tokens.

Cet écrêtage pose un problème sur les chaînes de raisonnement longues : il éjecte des tokens à la probabilité faible, mais critiques. En l’occurrence, ceux dits « réflexifs » (However, Recheck, Wait, Aha), qui favorisent la correction des erreurs.

Plutôt que les gradients, CISPO (Clipped Importance Sampling Policy Optimization) écrête les poids d’échantillonnage préférentiel. L’ensemble des tokens sont ainsi exploités.

Vérification formelle et robotique

CISPO a servi à affiner Leanstral 1.5. Ce MoE (6 milliards de paramètres actifs sur 119 milliards) sous licence Apache 2.0 dérive de Mistral Small 4. Il a des propriétés de vérification programmatique reposant sur le langage Lean. Cela lui permet notamment de prouver mathématiquement l’exactitude du code qu’il produit.

On trouve aussi du CISPO dans Robostral Navigate. Il s’agit d’un modèle 8B de navigation embarquée. Il est conçu pour fonctionner avec une seule caméra RGB (pas de lidars, de capteurs de profondeur, etc.). Mistral AI vante sa capacité à généraliser entre types de robots.

Robostral Navigate utilise une navigation par « pointage » : étant donne une tâche et un historique d’observations, il infère les coordonnées de l’emplacement cible dans son champ de vision et détermine son orientation à l’arrivée. Lorsque la cible n’est pas dans le champ de vision, le modèle repasse sur un système de coordonnées locales, plus sensibles aux variations intrinsèques à la caméra.

L’usage de CISPO a accru de 3,2 % le taux de réussite, affirme Mistral AI, sans préciser à quel résultat il se réfère. Potentiellement à celui qu’il met le plus en avant : 76,6 % R2R-CE (Room-to-Room in Continuous Environments) avec la portion du dataset de validation jamais vue auparavant par le modèle.

Illustration générée par IA

The post Mistral AI change d’approche pour l’apprentissage par renforcement appeared first on Silicon.fr.