Évaluation de préparation à l’IA : preuves à vérifier

Qu’est-ce qu’une évaluation de préparation à l’IA ?

Une évaluation de préparation à l’IA vérifie si un workflow nommé dispose de preuves suffisantes pour être acheté, construit ou exploité de façon responsable. Commencez par le workflow et la personne responsable de son résultat. Examinez ensuite les entrées et l’accès aux données, la limite de décision, l’artefact d’acceptation, le jeu d’évaluation, les permissions, l’escalade, le suivi et le plan d’arrêt ou de reprise. Classez chaque élément comme présent, partiel ou manquant. N’en faites pas un pourcentage universel de maturité.

Cette définition opérationnelle est une méthode éditoriale de Jungle Roots. Le NIST présente son AI Risk Management Framework comme volontaire et destiné à intégrer des considérations de fiabilité dans la conception, le développement, l’utilisation et l’évaluation de l’IA (NIST AI RMF). Microsoft et HBS publient leurs propres dimensions plus larges ; aucun ne fixe un score universel (Microsoft; HBS Online).

Quel est le verdict éditorial sur les scores de préparation ?

Mon verdict éditorial est que les preuves valent mieux qu’un pourcentage flatteur. C’est mon opinion, pas le résultat d’une expérience sur le portfolio, et aucune expérience de ce type n’est revendiquée. Un pourcentage peut fusionner des lacunes très différentes. L’opérateur doit encore savoir si le workflow peut lire une source, qui approuve une action et ce qui se passe lorsque la sortie échoue.

Microsoft précise que son assistant repose sur ses recherches et son travail avec ses clients, identifie cinq moteurs de valeur et pose dix questions avant de proposer une priorité (Microsoft). C’est le modèle de Microsoft. HBS emploie un autre cadre : intention stratégique, fondations data et technologie, personnes et culture, gouvernance et gestion des risques (HBS Online).

Choix éditorial : conservez le score d’un fournisseur comme son résumé. Gardez le dossier de preuves comme registre opérationnel vérifiable.

Comment mesurer la préparation à l’IA ?

Mesurez la préparation en vérifiant des preuves inspectables pour un seul workflow. Nommez-le simplement, par exemple « rédiger une proposition à partir de documents approuvés ». Nommez la personne responsable du résultat. Demandez ensuite les artefacts qui définissent les entrées, les actions permises, les sorties attendues, les tests, les accès et la gestion des échecs.

Utilisez présent seulement si un examinateur peut ouvrir l’artefact ou observer le contrôle. Utilisez partiel si la preuve existe mais laisse une question importante sans réponse. Utilisez manquant lorsque l’équipe dépend de sa mémoire ou d’une intention. Ces libellés appartiennent à la méthode éditoriale de Jungle Roots, pas au NIST.

Le Playbook du NIST propose des actions sous Govern, Map, Measure et Manage et indique que ces suggestions ne forment pas une checklist (NIST AI RMF Playbook).

Règle de mesure : une assurance orale donne du contexte ; un artefact nommé et consultable constitue une preuve.

Quels sont les trois piliers de la préparation à l’IA ?

Les sources autorisées ne définissent pas trois piliers universels de préparation à l’IA. Pour un modèle de travail compact, Jungle Roots propose la valeur du workflow, les preuves d’exploitation et le contrôle responsable. Ce sont des catégories éditoriales, pas une norme.

La valeur du workflow précise la décision ou la sortie servie et son responsable. Les preuves d’exploitation couvrent les données, les entrées, la limite de décision, l’acceptation et l’évaluation. Le contrôle responsable couvre les permissions, l’escalade, le suivi et l’arrêt ou la reprise.

Microsoft nomme stratégie d’entreprise, stratégie technologie et données, stratégie et expérience IA, organisation et culture, et gouvernance et sécurité de l’IA (Microsoft). HBS regroupe autrement intention stratégique, fondations data et technologie, personnes et culture, gouvernance et risques (HBS Online).

Avertissement : attribuez chaque nombre de piliers à sa source. Ne transformez pas un regroupement éditorial en loi ou consensus.

Quelles preuves mettre dans la grille de préparation ?

La grille doit montrer l’artefact, la question qu’il résout et le statut que le lecteur peut vérifier. La grille ci-dessous est éditoriale. Elle ne vient pas du NIST, de Microsoft, de HBS ou de l’OCDE.

La limite de décision doit correspondre aux permissions. L’acceptation doit correspondre au jeu d’évaluation. L’escalade doit correspondre à l’arrêt et à la reprise. En cas de conflit, marquez partiel et notez le conflit au lieu de le masquer.

Demander l’audit des opérations pour faire examiner le dossier avant l’achat d’un outil ou la construction d’un agent.

Quelles questions poser dans une évaluation IA ?

Une bonne question demande une décision ou un artefact, pas un oui optimiste. Posez les questions suivantes avec la grille :

• Quel workflow évaluons-nous et qui répond de son résultat ?
• Quelles entrées et sources de données approuvées peut-il utiliser ?
• Quelles décisions peut-il prendre, rédiger, recommander ou ne jamais exécuter ?
• Quel artefact prouve l’acceptation et qui le valide ?
• Quels cas couvrent le travail normal, les limites et les sorties inacceptables ?
• Quelle identité et quelle permission autorisent chaque action ?
• Où part une exception et quel contexte l’accompagne ?
• Quel registre permet de lire les exécutions, erreurs et changements ?
• Quelle condition arrête le workflow et comment l’opérateur rétablit-il un état sûr ?

Ces questions sont proposées par Jungle Roots. Le Playbook du NIST reste une source distincte d’actions volontaires de gestion des risques (NIST AI RMF Playbook).

Comment exécuter l’évaluation ?

Exécutez l’évaluation sur un seul workflow et conservez un dossier de preuves daté. Suivez cette séquence :

1. Figez le nom, l’événement de départ, la sortie attendue et le responsable.
2. Rassemblez les artefacts actuels pour les données, décisions, acceptation, évaluation, permissions, escalade, suivi et reprise.
3. Marquez chaque ligne présent, partiel ou manquant et ajoutez l’emplacement de la preuve.
4. Testez le jeu d’évaluation dans les limites de décision et de permission documentées.
5. Notez les échecs, assignez chaque manque et décidez si le workflow peut continuer, rester limité ou s’arrêter.

La décision finale dépend de l’organisation et du cas d’usage. La grille ne certifie ni conformité, ni sécurité, ni valeur commerciale. Le NIST décrit son cadre comme volontaire et comme un moyen d’intégrer la fiabilité, non comme une garantie (NIST AI RMF). Le cadre de gouvernance IA permet de replacer ce dossier dans des rôles et politiques plus larges.

Quels principes d’IA responsable ajouter à la grille ?

Les preuves de préparation ne remplacent pas les principes d’IA responsable ni l’analyse juridique. Les principes de l’OCDE couvrent notamment les droits humains et valeurs démocratiques, l’équité et la vie privée, la transparence et l’explicabilité, la robustesse, la sûreté et la sécurité, ainsi que la responsabilité (Principes de l’OCDE sur l’IA). Utilisez-les pour contester le but et les contrôles du workflow. Une grille complète ne prouve pas que chaque principe est respecté.

Le NIST fournit un cadre volontaire de gestion des risques et des actions dans son Playbook (NIST AI RMF; NIST AI RMF Playbook). L’OCDE publie des principes pour une IA digne de confiance (OCDE). Aucune de ces sources ne garantit la sûreté, l’efficacité ou la conformité d’un produit, agent ou workflow.

Limite : utilisez le dossier pour révéler les faits manquants, puis sollicitez les revues juridique, sécurité, vie privée et métier adaptées.

Que faire après l’évaluation ?

Résolvez d’abord les preuves manquantes qui peuvent modifier la décision de lancer, limiter ou arrêter. Si le responsable manque, nommez-le. Si la limite est vague, écrivez les actions permises et interdites. Si le jeu d’évaluation n’a pas de résultats attendus, définissez-les avec les personnes capables de juger le travail. Si la reprise est inconnue, empêchez l’action concernée.

C’est une recommandation éditoriale, pas la promesse d’un rendement. Conservez le dossier daté, la décision, les lacunes et leurs responsables. Rouvrez-le lorsqu’une entrée, permission, action, modèle, fournisseur ou condition d’acceptation change de façon importante. Il s’agit d’un déclencheur lié au changement, pas d’une fréquence calendaire inventée.

Demander l’audit des opérations pour transformer un workflow proposé en brief exploitable et vérifiable.

Written by Tileo, an operator who measures how AI assistants cite brands, on his own portfolio first.