Un score de détecteur d’IA n’est pas une chaîne de traçabilité. Il s'agit d'un signal statistique produit par un outil avec un taux d'erreur qui varie en fonction de la longueur du texte, du genre, de la langue de référence, de l'historique d'édition et de la version du modèle.
Ce guide d'évaluation de la détection de l'IA offre un flux de travail plus équitable pour les écoles, les éditeurs et les équipes produit. Il s'appuie sur l'Exemple de faux positif de la Déclaration d'indépendance et sur l'article plus large Méthodes de détection des chatbots IA.
Commencez par la vraie question
« L'IA a-t-elle été utilisée ? » est souvent trop vague pour être gouvernée. Un examen utile sépare au moins quatre questions :
- Un système d’IA a-t-il été utilisé à un moment donné ?
- Son utilisation a-t-elle été autorisée pour cette mission ou ce flux de travail ?
- La personne a-t-elle divulgué ou documenté cette utilisation comme requis ?
- Le travail soumis est-il exact, original et attribuable à la personne ?
Un score de détecteur ne peut pas répondre aux quatre. Il ne peut pas identifier l'outil exact, prouver l'intention ou expliquer si une correction grammaticale autorisée est devenue une soumission fantôme non divulguée.
Hiérarchie des preuves
Préférez les preuves qui décrivent le processus plutôt qu’un nombre déduit du texte final.
| Preuve | Ce que cela aide à établir | Principale limite |
|---|---|---|
| Brouillons et historique des versions | Comment le travail a changé au fil du temps | Certains outils ne conservent pas l'historique |
| Notes, sources et citations | Si l'auteur comprend et soutient les affirmations | Les notes peuvent également être générées ou incomplètes |
| Journaux de conversation ou d'outils | Ce qu'il a été demandé à un système d'IA de faire | Les journaux peuvent être indisponibles ou sensibles à la confidentialité |
| Entretien ou présentation de l'auteur | Si la personne peut expliquer ses décisions et réviser son travail | Le jugement humain est toujours faillible |
| Score du détecteur | Une raison de poser plus de questions | Faux positifs et dérive de l'outil |
Le résultat correct est généralement une évaluation de la confiance avec une incertitude documentée, et non une étiquette binaire produite par une seule analyse.
Pourquoi les scores du détecteur échouent
Les outils de détection recherchent des modèles associés au texte généré. Ces modèles apparaissent également dans l’écriture humaine qui est formelle, hautement éditée, formulée, traduite ou produite par quelqu’un écrivant dans une seconde langue.
Les passages courts sont particulièrement instables car il y a moins d’éléments permettant de distinguer le style du hasard. Un score peut également changer lorsque le même texte est légèrement modifié, reformaté ou envoyé vers une version différente du détecteur.
Pour cette raison, ne comparez jamais les scores de différents outils comme s’il s’agissait de probabilités calibrées. Enregistrez le nom de l'outil, la version, la date, la longueur de saisie, la langue et si le texte a été modifié avant la numérisation.
Un workflow de révision en quatre étapes
1. Préserver le contexte
Enregistrez le texte soumis, le rapport du détecteur et les conditions dans lesquelles il a été produit. Ne collez pas de travail sensible dans des services tiers non approuvés simplement pour obtenir un autre score.
2. Demander la provenance
Demandez des brouillons, des documents sources, des notes générales, des citations et une brève explication du processus d'édition. Sur un lieu de travail, l'historique du référentiel, les fichiers de conception et les commentaires de révision peuvent fournir le même type de preuves.
3. Effectuer un examen humain
L'examinateur doit vérifier l'exactitude des faits, la qualité de la source, la cohérence avec les travaux antérieurs et la capacité de l'auteur à expliquer le résultat. L’examen ne doit pas être une interrogation déguisée basée sur le style d’écriture.
4. Proposer une voie d'appel
Documentez quelles preuves modifient la décision, qui peut examiner un appel, combien de temps les dossiers sont conservés et comment la confidentialité est protégée. Un rejet automatisé opaque n’est pas une politique défendable.
Concevoir une politique responsable
Une politique responsable devrait dire :
- quelles utilisations de l’IA sont autorisées, restreintes ou interdites ;
- quelle divulgation est requise ;
- quelles preuves de processus les gens devraient conserver ;
- que les scores des détecteurs ne sont jamais concluants en eux-mêmes ;
- qui examine un cas signalé ;
- comment la personne peut répondre ou faire appel ;
- comment les brouillons et les journaux sensibles sont stockés et supprimés.
La politique doit également être testée sur des écrits humains connus, des écrits traduits et des écrits édités avant d’être utilisée dans une décision à enjeux élevés. Si le taux de faux positifs n’est pas acceptable, le détecteur ne doit pas être utilisé comme porte.
Conclusion
La détection par l’IA fonctionne mieux pour inciter à une conversation équitable sur les processus, la qualité et la politique. Cela devient préjudiciable lorsqu’un score probabiliste est traité comme une preuve. Préservez la provenance, examinez l’œuvre, expliquez l’incertitude et gardez un chemin d’appel significatif.