L'année dernière en septembre, OpenAI a publié un article scientifique

Les auteurs de l'article sont Adam Tauman Kalai, Edwin Zhang et Ofir Nachum d'OpenAI, ainsi que Santosh Vempala de Georgia Tech
Ils ont établi un cadre mathématique dont la découverte centrale est cette inégalité :
Taux d'erreur de génération ≥ 2 × Taux d'erreur de jugement
Supposons que l'IA a 1% de probabilité de commettre une erreur en jugeant "1+1 égal à combien". Alors lors de la génération de réponses, la probabilité d'erreur est d'au moins 2%
Pourquoi cela s'amplifie-t-il ? Parce qu'une erreur de jugement engendre plusieurs erreurs de génération. Par exemple, si l'IA juge 1+1=3, elle commet simultanément deux erreurs : dire que 1+1=3 est correct et dire que 1+1=2 est incorrect. Une erreur de jugement produit au minimum deux erreurs de génération
Si vous répondez "Je ne sais pas", vous obtenez 0 point. Si vous devinez au hasard, même avec seulement 10% de probabilité de trouver juste, le score espéré est 0,1 point. Choix rationnel ? Deviner. Alors l'IA n'a pas "appris à mentir". L'IA est forcée par le système d'entraînement à deviner
J'ai travaillé sur l'automatisation par IA pendant plus d'un semestre. Mon ensemble du système de contenu — de l'extraction de données à la rédaction en passant par la sélection d'images — fonctionne entièrement avec l'IA
Cet article scientifique a-t-il changé ma compréhension ? Franchement, ma compréhension fondamentale n'a pas changé
J'ai toujours su que l'IA ferait des erreurs, et j'ai intégré une vérification manuelle à chaque étape de ma conception système. Mais une chose s'est précisée : l'hallucination n'est pas un bug, c'est une feature
La bonne approche n'est donc pas d'attendre que l'IA devienne parfaite, mais de supposer dans le flux de travail que l'IA commettra forcément des erreurs, puis de concevoir des mécanismes de secours.
Ma méthode :
1. Toutes les données générées par l'IA doivent avoir un lien source original pour vérification croisée
2. Les chiffres spécifiques dans le contenu rédactionnel doivent être confirmés manuellement avant la publication
3. Ne pas laisser l'IA faire des "jugements", seulement de l'"organisation" — le jugement est ma responsabilité