Un corpus représentatif
Les questions ou cas doivent correspondre aux connaissances, décisions et situations que l’on souhaite réellement évaluer.
Thomas Cole, The Consummation of Empire, 1836
01. Évaluer un modèle
Un benchmark mesure une capacité dans un cadre précis
Corpus, référence, protocole, répétitions, erreurs et limites d’interprétation.
Un score n’est jamais une propriété universelle du modèle. Il dépend des tâches choisies, de la langue, du domaine, de la correction attendue et des conditions exactes d’exécution.
Définition
Qu’est-ce qu’un benchmark ?
Un benchmark est un protocole d’évaluation standardisé. Il soumet plusieurs modèles aux mêmes tâches, dans des conditions comparables, puis confronte leurs réponses à une référence explicite. Il mesure une performance délimitée à un instant donné. Il ne certifie ni la sécurité globale d’un outil, ni sa conformité juridique, ni son utilité dans toutes les situations professionnelles.
Une référence traçable
Les réponses attendues, règles de notation et procédures d’arbitrage doivent être documentées et validées avec une expertise adaptée.
Une exécution reproductible
Version du modèle, prompt, paramètres, répétitions, coûts, non-réponses et profils d’erreur doivent être rapportés clairement.
Pourquoi spécialiser l’évaluation ?
La santé au travail française ne se déduit pas d’un score généraliste
Un modèle peut être performant en médecine générale, en droit ou en français tout en échouant sur les rôles, les procédures et les raisonnements propres à la santé au travail française. La compétence doit donc être mesurée sur le domaine lui-même, et non supposée à partir d’un classement général.
Un environnement juridique et institutionnel spécifique
La santé au travail articule le Code du travail, les missions des SPST, le rôle du médecin du travail, les relations avec l’employeur et le CSE, le maintien en emploi, l’inaptitude, les maladies professionnelles et de nombreuses procédures nationales.
Des connaissances qui ne sont ni seulement médicales ni seulement juridiques
Les réponses mobilisent simultanément clinique, toxicologie, prévention, ergonomie, organisation du travail, éthique professionnelle et droit social. Une évaluation généraliste couvre rarement cet ensemble de façon suffisante.
Une couverture impossible à présumer
Les corpus d’entraînement sont seulement partiellement documentés. Ils peuvent contenir des sources françaises inégales, anciennes, contradictoires ou peu représentatives de ce domaine spécialisé.
Des erreurs plausibles mais professionnellement importantes
Une formulation convaincante peut masquer une confusion de rôle, une règle obsolète, une omission de prévention ou une réponse juridiquement imprécise. Le profil d’erreur compte autant que le score moyen.
Lecture critique
À quoi reconnaît-on un benchmark réellement utile ?
La qualité ne dépend pas du seul nombre de questions. Elle repose sur la pertinence du corpus, la robustesse de la référence, la répétabilité des résultats et la transparence du protocole.
01
Le périmètre est explicite
Le lecteur sait quelles capacités sont testées, quelles populations sont représentées et quelles conclusions ne peuvent pas être tirées.
02
Les conditions sont comparables
Les modèles répondent aux mêmes tâches, avec des paramètres et des règles de traitement des erreurs identiques.
03
L’incertitude est mesurée
Les répétitions, intervalles de confiance, variations entre exécutions et différences statistiquement crédibles sont distingués des écarts anecdotiques.
04
Les erreurs sont décrites
Sur-inclusion, omission, mauvaise attribution de rôle, raisonnement fragile ou réponse non conforme au format donnent une information plus opérationnelle qu’un score unique.
05
La transposition au terrain reste prudente
Réussir un benchmark ne démontre pas automatiquement qu’un système est sûr, utile ou acceptable dans une organisation réelle. Une évaluation de terrain reste nécessaire.
En attente de publication
Un travail scientifique spécialisé est en cours de publication
Un benchmark consacré aux performances des grands modèles de langage en santé au travail française a été développé afin de répondre à ce besoin d’évaluation située. Tant que l’article scientifique correspondant n’est pas rendu public, cette page présente uniquement la logique, l’intérêt et les exigences méthodologiques d’un tel travail. Les résultats détaillés, classements et analyses comparatives ne sont pas publiés ici à ce stade.