Google’s Gemini API documentation now warns that temperature, top_k, and top_p—long used to control randomness and token selection—will return errors in future model generations; currently, they are ignored. Temperature adjusts determinism by widening or narrowing token probability differences, while top_k and top_p limit choices to the most probable tokens (by fixed count or cumulative probability threshold). Instead, Google advises embedding explicit determinism rules in the system prompt.

Anthropic went further: after initially restricting the joint use of temperature and top_p in Claude 4.1, it dropped all three sampling parameters from Claude Opus 4.7 and Sonnet 5, as they conflict with reasoning models’ internal logic. It replaced the “extended thinking + token budget + temperature” combination with “adaptive thinking” and separate controls for reasoning level and verbosity. OpenAI likewise removed sampling parameters—including presence_penalty and frequency_penalty—from o1 and GPT-5, allowing only reasoning level adjustment. For its speech-to-speech API, OpenAI sets a fixed temperature of 0.8 (which it says works “almost always better”) and recommends prompting to steer creativity.

Avec toutes les futures générations de modèles, les paramètres temperature, top_k et top_p renverront une erreur.

Cet avertissement figure désormais dans la documentation de l’API Gemini. Pour le moment, celle-ci ignore simplement les paramètres en question.

Jouer sur la « température » d’un modèle permet de le rendre plus ou moins déterministe, en modifiant l’écart de probabilité entre les tokens.

Les paramètres top_k et top_p limitent le choix des tokens aux plus probables. Dans le premier cas, le nombre de tokens est fixe. Dans le second, il est variable (conditionné à l’atteinte d’un pourcentage de la masse de probabilité totale).

INTER

Pour contrôler le déterminisme, Google invite désormais à définir des règles explicites dans le prompt système.

Anthropic fait de même. Il avait d’abord empêché, avec la famille Claude 4.1, l’utilisation conjointe de temperature et de top_p. À partir de Claude Opus 4.7 et Sonnet 5, il les a abandonnés, ainsi que top_k. Motif : ces paramètres d’échantillonnage ne sont plus compatibles avec la logique interne des modèles de raisonnement.

Dans le même temps, la combinaison « pensée étendue + budget de tokens + température » a laissé place à une « pensée adaptative », avec des paramètres distincts pour gérer le niveau de raisonnement et la verbosité.

INTER

OpenAI a suivi la même voie. Avec le modèle o1 et ses successeurs, on peut contrôler le niveau de raisonnement, mais pas modifier les paramètres d’échantillonnage. Cela inclut presence_penalty et frequency_penalty. Le premier applique une pénalité fixe aux mots déjà apparus dans le texte généré. Le second en applique une proportionnelle au nombre d’apparitions.

Les modèles de la famille GPT-5 sont traités à la même enseigne. Vraisemblablement pour le même motif : modifier la température & Cie perturberait le processus de génération inhérent à ces modèles de raisonnement.

L’API speech-to-speech est également concernée. Le modèle sous-jacent fonctionne « presque toujours mieux » avec une valeur de température fixée (0.8), selon OpenAI. Qui conseille, là aussi, de jouer sur le prompting pour influencer le niveau de créativité.

Illustration générée par IA

The post La température, un réglage qui se perd avec les modèles de raisonnement appeared first on Silicon.fr.