Mistral AI has released Shieldstral, a small, adaptive content moderation model with open weights under the Apache 2.0 license, coinciding with its entry into the Open Secure AI Alliance. Derived from Ministral-3B-Base-2512, the multimodal classifier (text and/or image) is designed to let operators modify moderation policies on the fly by posing closed natural‑language questions at inference time—no retraining required. This contrasts with Mistral’s existing Moderation API, which lacks such flexibility and is tied to a fixed taxonomy.

To enable dynamic policy adjustment, Shieldstral reduces moderation tasks to a three‑part prompt structure: a constant field describing the evaluation context and desired rigor, a system prompt containing a binary question (e.g., “Does this content promote violence against a minority?” or “Can this image be shown to a minor?”), and the user content itself. The model returns a score, avoiding dependence on any preset category system.

Building this capability demanded unifying a heterogeneous collection of public moderation datasets with divergent annotation conventions. Mistral AI developed per‑dataset processing pipelines that converted each into a templated format, ensuring Shieldstral encountered varied instruction formulations and learned to calibrate its responses to different rigor levels during training.

A contrastive learning strategy proved pivotal. Positive examples were attached to queries of three kinds: binary (e.g., “Is this message undesirable?”), category‑specific (“Does this content promote suicide?”), and target‑group‑specific (“Does this message promote violence towards children?”). Negative examples were generated using three techniques: pairing content that violates category A with unrelated category queries; swapping the demographic target of a violation; and combining safe content with binary undesirable‑content prompts. This taught the model to differentiate categories and focus on semantic detail rather than superficial category cues.

To overcome a shortage of image‑moderation data, Mistral AI augmented training with image‑classification and object‑detection datasets. With the help of a large language model to permute queries, these examples served as both negatives and positives. Training was conducted via Low‑Rank Adaptation (LoRA), producing two checkpoints: one on approximately 45 million public text examples, and another on about 10 million synthetic and image examples. These were merged with the Ministral-3B-Instruct checkpoint to enhance instruction‑following, yielding a lightweight model that, Mistral AI claims, matches the performance of far larger moderation systems while providing deployment‑context versatility.

Avec le bon pipeline d’entraînement, on peut former un petit classifieur qui rivalise avec les grands modèles de modération de contenu.

Mistral AI l’affirme à propos de son dernier-né : Shieldstral. Dans le contexte de son adhésion à l’Open Secure AI Alliance, il en a publié les poids sous licence Apache 2.0.

Le modèle dérive de Ministral-3B-Base-2512. Multimodal (texte et/ou image), il est dit « adaptatif » au sens où on peut modifier la politique de modération lors de l’inférence, sans avoir à le réentraîner. Sur le papier, cette propriété favorise la diversification des contextes de déploiement (un contenu acceptable dans un cas peut être indésirable dans un autre). Elle différencie Shieldstral de l’API Mistral Moderation, qui n’a pas cette flexibilité.

Un travail d’unification des jeux d’entraînement

Pour développer cette propriété, Mistral AI a réduit les tâches de modération à des questions fermées exprimées en langage naturel. Par exemple : « Ce contenu promeut-il la violence contre une minorité ? » ou « Cette image peut-elle être montrée à une personne mineure ? ». Shieldstral y répond par un score, sans dépendre d’une taxonomie fixe.

Dans chaque requête, le prompt utilisateur se structure en trois champs :

<Instruct>

Constant sur une tâche ou un dataset donné, il décrit le contexte d’évaluation et le niveau de rigueur.

<Query> (question fermée à propos du contenu à évaluer)

<Document> (contenu, qu’il s’agisse de texte, d’image ou des deux)

Inculquer ce format de travail à Shieldstral a impliqué d’unifier les jeux de données d’entraînement existants, très hétérogènes dans leurs conventions d’annotation comme dans leurs taxonomies. Mistral AI a opéré une conversion à base de templates, en développant un pipeline de traitement spécifique à chaque dataset. Il a fait en sorte que le modèle apprenne à calibrer les décisions selon le niveau de rigueur. Et qu’il rencontre, au fil de l’entraînement,  diverses formulations d’instructions, afin d’acquérir des capacités de généralisation.

Shieldstral, trois checkpoints pour un modèle

L’autre pièce maîtresse dans la formation de Shieldstral fut l’usage de paires d’entraînement contrastives. D’un côté, des exemples positifs rattachés à trois types de requêtes : binaires (« Ce message est-il indésirable ? »), propres à des catégories (« Ce contenu promeut-il le suicide ? ») et, le cas échéant, spécifiques à des groupes cibles (« Ce message promeut-il la violence envers les enfants ? »). De l’autre, des exemples négatifs, avec trois stratégies pour les générer :

Sur la base des catégories (on associe un contenu violant une catégorie A à des requêtes à propos des catégories B, C, etc.)

Sur base démographique (on associe un contenu ciblant un groupe A à des requêtes concernant d’autres groupes)

En combinant des exemples sûrs à des requêtes binaires portant sur des contenus indésirables

Cette approche a appris au modèle à ne pas seulement détecter du contenu indésirable, mais à faire la distinction entre catégories. Mistral AI l’a aussi exploitée pour affiner l’interprétation des politiques de modération, en l’encourageant à porter son attention sur des détails sémantiques plutôt qu’à s’appuyer sur des indices liés aux catégories.

Face à la rareté des jeux de données de modération d’images, Mistral AI y a adjoint des jeux de données de classification et de détection d’objets. Leurs exemples ont servi de négatifs… mais aussi de positifs, en permutant les requêtes grâce à un LLM.

La formation de Shieldstral ne s’est pas faite par fine-tuning supervisé, mais via la méthode LoRA. Elle a produit deux checkpoints. L’un limité aux jeux de données de modération publics (environ 45 millions d’exemples texte). L’autre élargi à des exemples synthétiques et aux images (environ 10 millions en cumulé). Mistral AI a fusionné ces checkpoints, ainsi que celui de Ministral-3B-Instruct pour augmenter l’aptitude à suivre des instructions.

Illustration générée par IA

The post Mistral AI change le fond et la forme pour la modération de contenu appeared first on Silicon.fr.