Le test ressemble-t-il au travail visé ?
Le test ressemble-t-il réellement au travail que l’outil devra accomplir ?
Comprendre l’IA au travail / Fiche courte
Comprendre · Fiche courte
Benchmarks d’IA : comment lire un classement de modèles
Un classement dit quel modèle réussit un test donné, pas lequel convient à votre travail. Cette fiche résume les familles de tests, ce que chacune laisse de côté et les questions à poser avant de conclure.
L’essentiel
Il n’existe pas de classement universel.
Un score décrit un test, pas votre travail.
Réponse directe
Il n’existe pas de classement universel du « meilleur modèle ». Un benchmark mesure une performance sur un jeu de tâches, avec une consigne, une métrique et des conditions précises. Changez l’un de ces éléments et le classement peut changer.
Aucun de ces tests ne dit quel modèle convient à votre usage : cela se vérifie sur vos propres tâches.
01 / Familles de tests
Cinq familles de tests, cinq limites.
Savoir ce qu’un test mesure, c’est aussi savoir ce qu’il laisse de côté.
| Famille | Principe et exemples | Limite principale |
|---|---|---|
| Connaissances | Des questions à choix multiples, corrigées automatiquement. Exemples : MMLU, GPQA. | Très exposées à la contamination : les questions finissent dans les données d’entraînement. |
| Tâches réelles | Le modèle doit produire un résultat vérifiable : corriger un programme, livrer un projet. Exemples : SWE-bench, Remote Labor Index. | Coûteuses à construire et à noter ; elles ne couvrent qu’une partie d’un métier. |
| Préférence humaine | Deux réponses anonymes, une personne vote. Exemple : LMArena. | Mesure la séduction autant que l’exactitude. |
| Comportement en autonomie | Le modèle agit dans la durée, sans réponse attendue à chaque pas. Exemples : horizon temporel de METR, Vending-Bench. | Pas de « bonne réponse » unique ; le résultat dépend beaucoup du dispositif de test. |
| Métier | Une épreuve construite par des professionnels du domaine. Exemples : MedHELM en médecine ; BenchMedTrav en santé au travail, conçu par l’auteur de ce site. | Au plus près du métier, mais le déploiement réel reste à évaluer. |
02 / Instantané daté
Le premier change selon le test.
Au 13 novembre 2026, et vite dépassé : suivez les liens pour les résultats du jour.
| Test | Ce qu’il mesure | En tête |
|---|---|---|
| Indice de capacités (ECI) ↗ · Epoch AI | Un agrégat de plusieurs dizaines de tests. | Claude Fable 5.2 |
| GDPval-AA ↗ · Artificial Analysis | Des tâches professionnelles, comparées par paires. | Claude Opus 5.5 |
| ARC-AGI-3 ↗ · ARC Prize | L’adaptation à des environnements inédits, dans le protocole standard. | Claude Fable 5.2, avec 81,2 % |
Deux précautions
Les écarts entre les premiers sont souvent inférieurs à l’incertitude de la mesure. Et le score dépend du protocole : sur ARC-AGI-3, avec le dispositif propre à chaque fournisseur, quatre modèles dépassent 97 %.
03 / Méthode
Quatre questions avant de conclure.
À poser devant tout score, quel que soit le test.
Dans quelles conditions ?
Quelle consigne, quels outils, combien d’essais et quelle version du modèle ?
Que capte le score ?
Le score mesure-t-il l’exactitude, la préférence, le coût, la vitesse ou autre chose ?
Que cache la moyenne ?
Les données ont-elles pu être vues pendant l’entraînement, et quelles erreurs sont masquées par la moyenne ?
04 / Au travail
Du score à l’usage : deux évaluations différentes.
Un bon score technique ne prédit pas, à lui seul, un bon usage professionnel.
Le système répond-il correctement ?
Exactitude sur des cas représentatifs, erreurs fréquentes et erreurs graves, stabilité d’une réponse à l’autre, coût et délai, résistance à des entrées trompeuses.
Le travail est-il mieux fait sans créer de nouveaux risques ?
Temps réellement gagné, relecture comprise ; qualité finale et traitement des exceptions ; responsabilités et moyens de contester ; charge, autonomie, compétences et coopération ; effets observés avant et après.
Gain ressenti, gain mesuré
Dans un essai randomisé de METR mené début 2025 auprès de 16 développeurs expérimentés, ceux-ci se pensaient 20 % plus rapides avec l’IA ; ils ont été mesurés 19 % plus lents. Une nouvelle mesure fin 2025 suggère plutôt une accélération, que METR juge peu probante. Becker, Rush, Barnes et al., METR, 2025 ↗
Réponses essentielles
Trois questions fréquentes.
Des réponses courtes, tirées du guide.
Quel est le meilleur modèle d’IA ?
Il n’y a pas de réponse unique : le premier change selon le test, et les écarts entre les premiers sont souvent inférieurs à l’incertitude de la mesure. La question utile est de savoir quel modèle réussit vos propres tâches.
Qu’est-ce que la contamination d’un benchmark ?
C’est le fait que les questions d’un test finissent dans les données d’entraînement des modèles. Les tests de connaissances à choix multiples y sont très exposés : avant de conclure, il faut se demander si les données ont pu être vues pendant l’entraînement.
Existe-t-il des benchmarks pour la santé au travail ?
Les épreuves construites par des professionnels du domaine sont les plus proches du métier : MedHELM en médecine, ou BenchMedTrav en santé au travail, conçu par l’auteur de ce site. Même au plus près du métier, le déploiement réel reste à évaluer.
D’où vient cette fiche
Elle résume un chapitre du guide Comprendre l’IA au travail, qui donne pour chaque chiffre sa source, sa date et ses limites. Les repères datés de novembre 2026 seront dépassés : le guide est la version tenue à jour.
Journal des mises à jour
- Première version, tirée du guide « Comprendre l’IA au travail » mis à jour le 13 novembre 2026.