Thomas Cole, L'Apogée de l'Empire, 1836

Thomas Cole, The Consummation of Empire, 1836

III. L'Apogée

Évaluer les promesses avant d'y croire

Benchmarks, protocoles, incertitude et validité en conditions réelles.

Un modèle performant en général peut échouer sur une tâche spécialisée. L’évaluation doit être contextualisée, reproductible et distincte des promesses marketing.
La démarche Le paysage des modèles
En 30 secondes

Les repères essentiels

  • Un score généraliste ne mesure pas la maîtrise du droit, des institutions et des pratiques propres à la santé au travail française.
  • Un benchmark utile décrit le corpus, les répétitions, les erreurs, l’incertitude, les coûts et les conditions exactes d’exécution.
  • Les résultats du benchmark spécialisé restent non publiés ici tant que l’article scientifique correspondant n’est pas rendu public.
Cadre établiÉmergentAnalyse
Sur cette page
  1. Les repères essentiels
  2. Qu’est-ce qu’un benchmark ?
  3. Pourquoi la santé au travail française exige une évaluation dédiée
  4. Un travail en attente de publication
  5. Les conditions d’un benchmark réellement utile
  6. Risques organisationnels et juridiques
Définition

Qu’est-ce qu’un benchmark ?

Un benchmark est un protocole d’évaluation standardisé. Il soumet plusieurs modèles aux mêmes tâches, dans les mêmes conditions, puis compare leurs réponses à une référence explicite. Il ne s’agit ni d’une démonstration commerciale, ni d’un label universel de « bonne IA » : il mesure des capacités délimitées, à une date donnée.

1 · Corpus

Des tâches représentatives

Les questions, cas ou documents doivent couvrir les situations que l’on cherche réellement à évaluer. Un score n’a de sens que par rapport à ce périmètre.

2 · Référence

Une correction traçable

Les réponses attendues, critères de notation et procédures d’arbitrage doivent être documentés, idéalement avec une validation experte indépendante.

3 · Exécution

Des conditions reproductibles

Version du modèle, prompt, paramètres, outils, répétitions, coûts, non-réponses et profils d’erreur doivent être rapportés afin que la comparaison puisse être comprise et reproduite.

Pourquoi un benchmark spécialisé ?

La santé au travail française ne se déduit pas d’un score médical généraliste

La santé au travail française constitue un domaine étroit, transversal et fortement dépendant de son cadre national. Elle combine médecine, prévention, toxicologie, ergonomie, droit du travail, institutions et procédures propres aux SPST, au CSE, à l’inaptitude, au maintien en emploi et aux tableaux de maladies professionnelles.

Une couverture d’entraînement impossible à présumer

Les corpus d’entraînement des grands modèles sont seulement partiellement documentés. Ils peuvent contenir des sources françaises inégales, anciennes, contradictoires ou peu représentatives de ce petit domaine. On ne peut donc pas déduire d’un bon niveau général en médecine, en français ou en droit que le modèle maîtrise les pratiques françaises de santé au travail.

Cette incertitude ne signifie pas que les modèles sont nécessairement mauvais. Elle signifie que leur compétence doit être mesurée sur des tâches pertinentes plutôt que supposée.

Ce qu’un benchmark dédié peut révéler

Il permet de distinguer la mémorisation de connaissances, le raisonnement appliqué à des vignettes, la compréhension des rôles institutionnels, les erreurs de sur-inclusion ou d’omission et la robustesse entre plusieurs exécutions.

Il ne prouve pas à lui seul qu’un outil est sûr en situation réelle : une évaluation de terrain, une supervision humaine et une analyse des risques restent nécessaires.

Un travail en attente de publication

Un benchmark spécialisé a été développé afin de comparer les grands modèles de langage sur des questions représentatives des connaissances et du raisonnement attendus en santé au travail française. L’article scientifique qui en décrit le corpus, le protocole et les résultats est en attente de publication. Les résultats ne sont donc pas présentés ici comme une référence validée par les pairs.

Méthode

Les conditions d’un benchmark réellement utile

Un classement global ne suffit pas. L’évaluation doit être représentative du domaine, reproductible et capable de montrer la nature des erreurs, pas seulement un score moyen.

1. Couvrir le travail réel

Construire des questions représentatives de la prévention, de la réglementation, des expositions, du suivi individuel, du maintien en emploi, de la toxicologie et de l’organisation du travail.

2. Établir une référence experte

Documenter chaque réponse à partir de sources fiables, faire relire les items et prévoir une procédure d’arbitrage des désaccords.

3. Analyser les erreurs

Examiner les omissions, les réponses excessives, les erreurs juridiques, les biais, les non-réponses et la variabilité entre exécutions.

4. Tester la robustesse

Comparer les modèles dans des conditions identiques et préciser versions, paramètres, répétitions, coûts, intervalles d’incertitude et limites.

Références méthodologiques

  1. Stanford CRFM — HELM : évaluation holistique, scénarios, métriques et transparence.
  2. MedHELM : benchmark médical ouvert couvrant 121 tâches cliniques dans une taxonomie validée par des cliniciens.
  3. HealthBench : conversations de santé réalistes évaluées par des grilles créées par des médecins.
  4. NIST — Generative AI Profile : gouverner, cartographier, mesurer et gérer les risques dans leur contexte d’usage.
  5. INRS, TF 335 : exemple d’évaluation spécialisée d’un usage précis en santé au travail.
Surveillance, données et responsabilité

Les risques ne sont pas seulement psychologiques : ils sont aussi organisationnels et juridiques

Un système d'IA peut devenir problématique non parce qu'il est spectaculaire, mais parce qu'il s'insère discrètement dans les circuits de décision : attribution des tâches, mesure de productivité, analyse des échanges, scoring, priorisation, tri de dossiers, alertes automatiques ou recommandations managériales.

Données

Données personnelles et données sensibles

L'IA peut traiter des traces d'activité, des messages, des plannings, des comptes rendus, des données RH ou des éléments indirectement révélateurs d'un état de santé. Le risque augmente lorsque le salarié ne sait pas quelles données sont collectées, pourquoi, par qui elles sont consultées et combien de temps elles sont conservées.

Garde-fou : minimisation, information claire, base légale, AIPD si nécessaire, séparation stricte avec les données médicales.
Management algorithmique

Quand l'outil organise le travail

Planification automatisée, ranking de performance, scoring de productivité ou priorisation algorithmique peuvent modifier les marges de manœuvre sans que le changement soit nommé. L'enjeu est de rendre la prescription compréhensible et contestable.

Question clé : le salarié peut-il comprendre, discuter et corriger la décision soutenue par l'IA ?
Responsabilité

Qui répond de l'erreur ?

Si une recommandation IA est erronée, la responsabilité ne peut pas être laissée dans une zone grise. L'entreprise doit définir qui valide, qui peut s'écarter de la proposition, comment l'écart est documenté et dans quels cas l'outil ne doit pas être utilisé.

Principe : la responsabilité humaine doit être explicite, réelle et soutenable.
Précédent — Usages et terrain
Revenir aux usages

Rechercher

Saisissez au moins deux caractères.