Un classement est un instantané.
Version du modèle, harnais, outils et budget de calcul doivent accompagner chaque résultat.
Modèles · Benchmarks · Choix d’usage
Un panorama utile, pas un podium.
Les classements vieillissent vite. Pour choisir un modèle, il faut partir de la tâche, des erreurs inacceptables, des données, du niveau de contrôle et du coût total de l’usage.
Vue datéeAucun modèle universelTest local indispensable
Ce qui soutient l’ensemble
The Titan’s Goblet · 1833
Ce monde semble tenir tout entier sur un support monumental, mais son équilibre dépend de ce qui le porte. L’œuvre rappelle qu’un modèle n’est jamais un socle suffisant : la fiabilité d’un usage repose aussi sur les données, les outils, la supervision et l’organisation.
Le meilleur modèle est situé.
Une bonne performance générale ne garantit pas la qualité en santé au travail ou en droit français.
Une mise à jour impose un nouveau test.
Changement de version, de prompt, de corpus ou d’outil : le résultat antérieur ne suffit plus.
01 / Trois familles pratiques
Commencer par l’architecture d’usage.
Le nom commercial compte moins que la manière dont le système est hébergé, relié à des données et autorisé à agir.
Modèle généraliste propriétaire.
Accès simple, capacités larges et outils intégrés. En contrepartie : dépendance au fournisseur, évolution imposée des versions et conditions contractuelles à vérifier.
À examiner : données, conservation, localisation, sous-traitants, stabilité et réversibilité.Modèle exploité sous contrôle propre.
Davantage de maîtrise sur l’hébergement et le cycle de mise à jour, mais l’organisation assume l’infrastructure, la sécurité, l’évaluation et la maintenance.
À examiner : licence, compétence interne, coût d’exploitation, correctifs et surveillance.Système spécialisé, RAG ou agent.
Le modèle est relié à un corpus, des règles ou des outils. La performance dépend alors autant de cette chaîne que du modèle de base.
À examiner : sources, permissions, journalisation, erreurs d’outil et conditions d’arrêt.02 / Critères de choix
Six questions avant de regarder le score global.
Le comparatif utile porte sur le système exact qui sera utilisé, dans les conditions réelles prévues.
Tâche exacte.
Résumer, extraire, rédiger, classer, chercher ou agir : les exigences et les erreurs critiques diffèrent.
Erreurs inacceptables.
Omissions, fausses références, discrimination, divulgation ou action non autorisée doivent être testées séparément.
Données.
Nature des informations, base légale, conservation, réutilisation, transferts et contrôle des accès.
Contrôle.
Version figée, droit d’écart, traçabilité, permissions d’outils, recours humain et arrêt immédiat.
Coût total.
Prix du service, intégration, latence, contrôle humain, incidents, maintenance et maintien des compétences.
Effets sur le travail.
Temps réellement gagné, charge de vérification, autonomie, coopération et répartition des responsabilités.
03 / Benchmarks
Ce qu’ils mesurent — et ce qu’ils ne mesurent pas.
Les résultats ne sont comparables que si les versions, outils, prompts, budgets et nombres de tentatives sont proches.
| Repère | Ce qu’il teste | Limite pour un usage professionnel |
|---|---|---|
| SWE-bench Verified ↗ | Résolution de problèmes réels de développement logiciel dans un environnement outillé. | Ne mesure ni la qualité clinique, ni le droit, ni l’effet du système sur le travail. |
| GPQA Diamond ↗ | Questions scientifiques difficiles conçues pour résister à une recherche simple. | Un bon score de connaissance n’établit pas la fiabilité sur des documents internes. |
| MMMU ↗ | Raisonnement multimodal sur textes, tableaux, schémas et images. | Ne garantit pas la lecture correcte de vos formulaires, scans ou procédures. |
| LM Arena ↗ | Préférences humaines entre réponses à des requêtes variées. | La préférence ne mesure pas directement l’exactitude, la confidentialité ou la conformité. |
| METR ↗ | Capacité d’agents à accomplir des tâches logicielles de différentes durées. | Une autonomie technique plus longue ne démontre pas qu’un usage est sûr ou souhaitable au travail. |
04 / Protocole minimal
Cinq éléments à conserver avec chaque résultat.
Sans cette trace, un score ne peut pas être relu ni comparé sérieusement après une mise à jour.
01Date du test
02Fournisseur et version exacte
03Prompt, corpus et outils
04Budget et nombre de tentatives
05Erreurs et cas exclus
05 / Suivre le paysage
Sources à consulter avec une date.
Ces sources aident à repérer les évolutions. Elles ne remplacent pas une évaluation locale sur la tâche et les données prévues.