With the right training pipeline, a small classifier can rival large content-moderation models, Mistral AI argues — and its new model, Shieldstral, is meant to prove it. Released with open weights under Apache 2.0 as part of Mistral’s participation in the Open Secure AI Alliance, Shieldstral is derived from Ministral-3B-Base-2512 and is multimodal, handling text and/or images.

Its key differentiator is what Mistral calls an “adaptive” moderation approach: the moderation policy can be changed at inference time without retraining. In practice, that makes the model more suitable for varied deployment contexts, where content that is acceptable in one setting may be disallowed in another. That flexibility is not available in Mistral’s API-based Moderation service.

To build that capability, Mistral reframed moderation tasks as closed questions in natural language, such as “Does this content promote violence against a minority?” or “Can this image be shown to a minor?” Shieldstral returns a score rather than relying on a fixed taxonomy. Each request is structured around three fields: a constant prompt describing the evaluation context and strictness level; the closed question about the content; and the content itself, whether text, image, or both.

A major part of the work was unifying highly heterogeneous training datasets, which differed widely in annotation conventions and taxonomies. Mistral used template-based conversion with a dataset-specific processing pipeline for each source. The goal was to teach the model to calibrate decisions according to the required strictness, while exposing it to many instruction phrasings so it would generalize better.

Another central element was the use of contrastive training pairs. Positive examples were tied to three kinds of prompts: binary questions such as “Is this message spam?”, category-specific questions like “Does this content promote suicide?”, and, where relevant, target-group-specific questions such as “Does this message promote violence against children?” Negative examples were generated in three ways: by pairing content violating one category with questions about other categories; by pairing content targeting one demographic group with questions about other groups; and by combining safe examples with binary prompts about harmful content.

This approach taught the model not only to detect harmful content, but also to distinguish between categories. Mistral says it also improved policy interpretation by pushing the model to focus on semantic details rather than category-specific shortcuts.

Because image moderation datasets are scarce, Mistral supplemented them with image classification and object-detection datasets. Those examples were used both as negatives and, by swapping prompts through a LLM, as positives as well.

Shieldstral was trained with LoRA rather than supervised fine-tuning. The process produced two checkpoints: one trained only on public moderation datasets, with about 45 million text examples; and a second, broader one that added synthetic examples and images, for roughly 10 million examples in total. Mistral then merged those checkpoints, along with Ministral-3B-Instruct, to improve instruction-following ability.

Avec le bon pipeline d’entraînement, on peut former un petit classifieur qui rivalise avec les grands modèles de modération de contenu.

Mistral AI l’affirme à propos de son dernier-né : Shieldstral. Dans le contexte de son adhésion à l’Open Secure AI Alliance, il en a publié les poids sous licence Apache 2.0.

Le modèle dérive de Ministral-3B-Base-2512. Multimodal (texte et/ou image), il est dit « adaptatif » au sens où on peut modifier la politique de modération lors de l’inférence, sans avoir à le réentraîner. Sur le papier, cette propriété favorise la diversification des contextes de déploiement (un contenu acceptable dans un cas peut être indésirable dans un autre). Elle différencie Shieldstral de l’API Mistral Moderation, qui n’a pas cette flexibilité.

Un travail d’unification des jeux d’entraînement

Pour développer cette propriété, Mistral AI a réduit les tâches de modération à des questions fermées exprimées en langage naturel. Par exemple : « Ce contenu promeut-il la violence contre une minorité ? » ou « Cette image peut-elle être montrée à une personne mineure ? ». Shieldstral y répond par un score, sans dépendre d’une taxonomie fixe.

Dans chaque requête, le prompt utilisateur se structure en trois champs :

<Instruct>

Constant sur une tâche ou un dataset donné, il décrit le contexte d’évaluation et le niveau de rigueur.

<Query> (question fermée à propos du contenu à évaluer)

<Document> (contenu, qu’il s’agisse de texte, d’image ou des deux)

Inculquer ce format de travail à Shieldstral a impliqué d’unifier les jeux de données d’entraînement existants, très hétérogènes dans leurs conventions d’annotation comme dans leurs taxonomies. Mistral AI a opéré une conversion à base de templates, en développant un pipeline de traitement spécifique à chaque dataset. Il a fait en sorte que le modèle apprenne à calibrer les décisions selon le niveau de rigueur. Et qu’il rencontre, au fil de l’entraînement,  diverses formulations d’instructions, afin d’acquérir des capacités de généralisation.

Shieldstral, trois checkpoints pour un modèle

L’autre pièce maîtresse dans la formation de Shieldstral fut l’usage de paires d’entraînement contrastives. D’un côté, des exemples positifs rattachés à trois types de requêtes : binaires (« Ce message est-il indésirable ? »), propres à des catégories (« Ce contenu promeut-il le suicide ? ») et, le cas échéant, spécifiques à des groupes cibles (« Ce message promeut-il la violence envers les enfants ? »). De l’autre, des exemples négatifs, avec trois stratégies pour les générer :

Sur la base des catégories (on associe un contenu violant une catégorie A à des requêtes à propos des catégories B, C, etc.)

Sur base démographique (on associe un contenu ciblant un groupe A à des requêtes concernant d’autres groupes)

En combinant des exemples sûrs à des requêtes binaires portant sur des contenus indésirables

Cette approche a appris au modèle à ne pas seulement détecter du contenu indésirable, mais à faire la distinction entre catégories. Mistral AI l’a aussi exploitée pour affiner l’interprétation des politiques de modération, en l’encourageant à porter son attention sur des détails sémantiques plutôt qu’à s’appuyer sur des indices liés aux catégories.

Face à la rareté des jeux de données de modération d’images, Mistral AI y a adjoint des jeux de données de classification et de détection d’objets. Leurs exemples ont servi de négatifs… mais aussi de positifs, en permutant les requêtes grâce à un LLM.

La formation de Shieldstral ne s’est pas faite par fine-tuning supervisé, mais via la méthode LoRA. Elle a produit deux checkpoints. L’un limité aux jeux de données de modération publics (environ 45 millions d’exemples texte). L’autre élargi à des exemples synthétiques et aux images (environ 10 millions en cumulé). Mistral AI a fusionné ces checkpoints, ainsi que celui de Ministral-3B-Instruct pour augmenter l’aptitude à suivre des instructions.

Illustration générée par IA

The post Mistral AI change le fond et la forme pour la modération de contenu appeared first on Silicon.fr.