昨年9月、OpenAIが論文を発表しました

論文の著者はOpenAIのAdam Tauman Kalai、Edwin Zhang、Ofir Nachum、そしてGeorgia TechのSantosh Vempalaです
彼らは数学的なフレームワークを構築し、その核心的な発見はこの不等式です：
生成エラー率 ≥ 2 × 判断エラー率
AIが「1+1は何か」という判断において1%の確率で誤りを犯すと仮定します。その場合、回答を生成する際に誤りが出る確率は少なくとも2%です
なぜ拡大するのか？1つの誤った判断が複数の誤った生成を引き起こすからです。例えばAIが「1+1=3」と判断した場合、同時に2つの誤りを犯しています：1+1=3が正しいと述べ、1+1=2が間違っていると述べる。1つの判断ミスは少なくとも2つの生成ミスになるのです
「わかりません」と答えれば0点です。適当に推測して、たとえ10%の確率で正解したとしても、期待得点は0.1点です。理性的な選択？推測です。 だからAIは「嘘をつくことを学んだ」のではありません。AIは訓練システムにより推測を強制されているのです
私はAIの自動化を半年以上続けてきました。データ収集から執筆、画像の配置まで、私のコンテンツシステムはすべてAIで運用されています
この論文は私の認識を何か変えましたか？ 正直に言えば、核心的な認識は変わりませんでした
AIが誤りを犯すことは常に知っていたので、私のシステム設計には各段階で人間の検証が入っています。 しかし一つだけ明確になったことがあります：幻覚はバグではなく、むしろ特徴です
だから正しいやり方は、AIが完璧になるのを待つのではなく、ワークフローの中でAIが必ず誤りを犯すと仮定し、その上でセーフティメカニズムを設計することです。
私のやり方は次の通りです：
1. すべてのAI生成データには、元のリンクをクロスチェックできるものを必ず付ける
2. 執筆内容の具体的な数字は、公開前に人間が確認する
3. AIに「判断」をさせず、「整理」だけをさせる——判断は私の仕事です