Étudier l’IA au travail : repères de méthode pour la recherche

1. Départ

   Votre recherche porte sur…

   Les branches A et B rejoignent C, commune à toutes les études.

   • A · L’utilité ou les effets de l’IA dans une pratique professionnelleÉvaluer un outil, un usage, un déploiement
   • B · Les équipes qui développent, évaluent ou supervisent les modèlesConditions de travail et sécurité de l’IA
   • C · Pour toutes les études : conclure et publierNiveaux de preuve, limites, causalité

Branche AÉvaluer l’IA dans une pratique professionnelle

1. A1

   Votre corpus contient-il des données de santé ou permettant d’identifier quelqu’un ?

   Si oui

   Désidentifiez avant tout envoi à un modèle et travaillez dans un environnement autorisé (HDS pour la santé). Pour tester un outil en ligne, utilisez des textes fictifs, comme le banc d’essai de 540 préconisations.

   Sources : Publication · IA et préconisations · Outil Préconisations

2. A2

   Mesurez-vous la performance du modèle, ou ses effets sur le travail ?

   Un bon score technique ne prédit pas, à lui seul, un bon usage professionnel.

   Performance du modèle

   Testez sur des cas représentatifs de la tâche réelle : erreurs fréquentes et erreurs graves, stabilité d’une réponse à l’autre, résistance aux entrées trompeuses, coût et délai.

   Effets sur le travail

   Évaluez le système de travail : temps gagné relecture comprise, qualité finale, exceptions, responsabilités, charge, autonomie, compétences et coopération, avant et après la mise en place.

   Source : Comprendre l’IA · revenir au travail réel

3. A3

   Vous appuyez-vous sur un benchmark publié ?

   Si oui

   Vérifiez qu’il ressemble au travail visé ; décrivez la consigne, les outils, le nombre d’essais et la version ; précisez ce que la mesure capte (exactitude, préférence, coût) ; cherchez les données vues à l’entraînement et les erreurs masquées par la moyenne.

   Source : Comprendre l’IA · lire les benchmarks

4. A4

   La référence humaine est-elle construite indépendamment des consignes testées ?

   Si non

   Construisez une référence (consensus multidisciplinaire, cotation attendue), ajustez les consignes sur un premier échantillon, puis testez sur un échantillon neuf. Consignez la version du modèle, le prompt et la date : chaque version est un objet daté.

   Sources : Publication · IA et préconisations · Comprendre l’IA · capacités et limites

5. A5

   Les désaccords entre le modèle et la référence sont-ils réexaminés un à un ?

   Si non

   Classez chaque discordance : alerte justifiée, signalement excessif, défaut manqué ou invention. Un désaccord peut aussi révéler un défaut que la référence n’avait pas repéré.

   Source : Publication · IA et préconisations

6. A6

   Vos données sur les effets reposent-elles surtout sur du déclaratif ?

   Si oui

   Confrontez-les à une mesure observée. Dans un essai randomisé de METR, des développeurs expérimentés se pensaient 20 % plus rapides avec l’IA ; ils ont été mesurés 19 % plus lents.

   Source : Comprendre l’IA · gain ressenti et gain mesuré

7. A7

   Les résultats sont-ils ventilés par tâche, métier et population ?

   Si non

   Ventilez-les : la frontière des capacités est irrégulière, et une moyenne positive peut masquer des effets négatifs. Cherchez aussi les changements d’organisation qui expliquent un effet favorable ou défavorable.

   Sources : Lecture · IA et travail réel · Comprendre l’IA · frontière irrégulière

Continuer vers C · conclure et publier

Branche BÉtudier ceux qui développent, évaluent ou supervisent les modèles

1. B1

   Votre terrain comporte-t-il des fonctions de contrôle ?

   Relecture, évaluation avant sortie, red teaming, supervision d’agents, réponse à incident.

   Si oui

   Traitez-les comme des postes à part entière et objectivez la charge de contrôle : volume à relire par personne, temps réellement disponible avant une sortie, effectif mobilisé lors d’une enquête, astreintes.

   Source : Lecture · Santé au travail et sécurité de l’IA

2. B2

   Les validations humaines servent-elles à mesurer ou à entraîner le système étudié ?

   Si oui

   Étudiez l’état des superviseurs avec celui du système : un superviseur fatigué valide plus vite, et le système peut apprendre à produire ce qui se valide facilement. Leur santé devient une variable de fiabilité.

   Source : Lecture · Humain dans la boucle

3. B3

   Votre protocole saisit-il la capacité à exprimer un doute ou à refuser une validation ?

   Si non

   Intégrez-la : la sécurité suppose que quelqu’un puisse dire qu’il n’est pas sûr ou qu’il faut attendre. Un doute non exprimé est un signal de sécurité perdu.

   Source : Lecture · pouvoir dire non

4. B4

   Les annotateurs, évaluateurs et prestataires entrent-ils dans votre champ ?

   Si non

   Incluez-les : leurs jugements servent à entraîner et à évaluer les modèles, mais ils échappent souvent au suivi et aux protections des salariés.

   Source : Lecture · Santé au travail et sécurité de l’IA

5. B5

   Vos données viennent-elles de la presse ou des communications des entreprises ?

   Si oui

   Codez les témoignages selon une grille explicite, comme les six axes de Gollac dans le preprint d’octobre 2026, et n’en tirez pas d’inférence causale. Un accès indépendant aux données de déploiement reste à obtenir.

   Sources : Publication · preprint · Risques psychosociaux · état des preuves

6. ·
   Dans tous les cas

   Étudiez l’organisation (délais, effectifs, priorités) plutôt que les salariés comme un « facteur humain » à surveiller : c’est elle qui fixe les conditions du contrôle.

   Source : Lecture · Santé au travail et sécurité de l’IA

Continuer vers C · conclure et publier

Branche CPour toutes les études : conclure et publier

1. C1

   Votre conclusion dépasse-t-elle ce que le dispositif mesure ?

   Si oui

   Ramenez-la à ce qui est mesuré : repérer des défauts de formulation ne démontre pas un bénéfice pour la santé ou le maintien en emploi. Écrivez ce que l’étude ne mesure pas, et pour quel modèle, quel prompt et quel corpus elle vaut.

   Source : Publication · IA et préconisations

2. ·
   Situer chaque affirmation

   Établi, émergent ou inconnu. Une preuve encore limitée n’est ni la preuve d’un dommage inévitable, ni la preuve d’une absence de risque.

   Source : Risques psychosociaux · état des preuves

3. C2

   Votre question porte-t-elle sur des effets durables ou causaux ?

   Si oui

   Prévoyez des études longitudinales ou des essais d’intervention, avec un accès indépendant aux données de déploiement. Des témoignages ne permettent ni d’estimer une prévalence ni d’établir une causalité ; une étude transversale ne suffit pas non plus à établir une causalité.

   Sources : Risques psychosociaux · état des preuves · Lecture · travailleurs de l’IA

Publier méthode et limites, et répéter l’évaluation quand le modèle change