こんにちは!
AIが堂々と嘘をついた経験、ありませんか?
存在しない論文を引用したり、統計データを捏造したり、架空のソースをあげたり。
これを「ハルシネーション」と呼びます。正直、AIを活用する上で最もストレスを感じる問題の一つではないでしょうか。
完全にゼロにすることは難しいものの、劇的に抑えることは可能です。
実際に効果を実感したテクニックをいくつかまとめました。
なぜAIは嘘をつくのか
まず、なぜ発生するのか仕組みを理解しておくと、対策もしやすくなります。
AIは人間のように事実を「知っている」わけではなく、学習データのパターンに基づいて「それらしい回答」を生成しているだけです。
そのため、以下のケースではハルシネーションが起きやすくなります:
- トピックが曖昧、または最新のもの(学習データが不足している)
- 具体的な詳細(日付、数値、固有名詞など)を求めている
- 質問自体が曖昧で解釈が分かれる可能性がある
……といった状況ですね。
さらに厄介な点として、AIは「わからない」と答えるよりも、「自信を持って推測する」傾向があります。
ちなみに、2025年の最新モデルでもハルシネーション率は1〜2%程度。ゼロにはならないらしい。
テクニック1:「わからない」を許可する
AIはデフォルトで「何か答えを出そう」とします。プロンプトで「わからない場合は、わからないと答えてもOK」と明示してみましょう。
何かについて確実じゃない場合は、そう言って。
推測するより「わからない」と言ってくれたほうがいい。
間違った答えより、答えなしのほうがマシ。
これだけで、事実確認系の質問におけるハルシネーションをかなり抑えられます。
テクニック2:ソースを求める
AIに根拠や出典を明示させると、回答に対する慎重さが増します。
ドキュメントがある場合:
このドキュメントだけに基づいて答えて。
答えをサポートする具体的な段落を引用して。
ドキュメントに情報がなければ「情報なし」と言って。
[ドキュメント]
一般知識の場合:
〇〇について説明して。
特定の主張については、確信度も教えて。
確認が必要なものはフラグ立てて。
テクニック3:質問を分解する
複雑で多段階の質問は、ハルシネーションが起きやすくなります。
ダメな例:
ProductXの歴史、主な特徴、価格、レビューを教えて。
ProductYとProductZとも比較して。
良い例:
これをステップバイステップで進めよう。
まず:ProductXの主な特徴は?
質問は1つずつに分け、それぞれの回答を確認してから次に進みましょう。
テクニック4:チェーン・オブ・シンク
AIに推論過程を明示させると、回答の精度が向上します。
最終回答の前に、ステップバイステップで考えて。
推論を見せて。
AI自身が各ステップを言語化する際、論理の飛躍や誤りに気づきやすくなります。
2024年の研究だと、GPT-4の数学エラーが28%減ったとか。
テクニック5:範囲を狭める
質問の範囲が広いほど、ハルシネーションが起きる余地も広がります。
広すぎ(リスキー):
機械学習について教えて
狭い(安全):
教師あり学習と教師なし学習の違いを説明して。
3〜4文で。主な違いだけ。
範囲を絞り、焦点を当てた質問にすることで、AIが不確実な領域に踏み込む機会を減らせます。
テクニック6:参照資料を渡す
AIの内部知識に頼るのではなく、必要な情報はプロンプトに直接含めます。
製品ドキュメント:
[ドキュメントを貼り付け]
このドキュメントだけに基づいて、顧客の質問に答えて:
[質問]
ドキュメントにない情報は追加しないで。
参照資料を提示することで、AIがでたらめな回答を作り出す可能性を大幅に下げられます。
テクニック7:自己検証を求める
意外に効果が高い手法です。AI自身に回答の検証をさせましょう。
今の回答を見直して。
不正確かもしれない主張、確信が持てない部分はある?
あればフラグ立てて。
プロンプトで指示を出すだけで、AI自身が生じたハルシネーションに気づくことがあります。最初から検証プロセスを組み込むこともできます:
質問に答えて、その後正確性を見直して。
完全に確信がない部分はマークして。
テクニックを組み合わせる
複数のテクニックを組み合わせると、効果が相乗的に高まります。
[トピック]について質問します。
ガイドライン:
1. 確信がある情報だけ使って
2. 不確実なら「確信なし」と言って
3. 特定の主張には確信度を示して
4. ステップバイステップで考えて
5. 答えた後、確認が必要な部分を簡潔に書いて
質問:[質問]
これにより、以下の要素を一度にカバーできます。
- 不確実性の許可(テクニック1)
- 確信度を求める(テクニック2)
- チェーン・オブ・シンク(テクニック4)
- 自己検証(テクニック7)
防げないもの
現実的には、完全には防げないケースも存在します:
- 最近のイベント — 学習データの截止点後に発生した情報
- マイナーな詳細 — 特定の日付、ニッチな統計、知名度の低い人物
- 技術仕様 — 正確なAPIパラメータ、コード構文の詳細
- 引用 — 引用の生成は特にハルシネーションが起きやすいです
精度が求められる場面では、以下の運用を推奨します:
- 外部で独立して検証する
- AIが生成した引用を鵜呑みにしない
- 最終的な事実確認ではなく、ドラフト作成やアイデア出しにAIを活用する
2025年の最新状況
ちなみに、最新モデルのハルシネーション率は目覚ましい改善が進んでいます。
- トップモデルは2%以下を達成
- Gemini-2.0-Flashは0.7%という報告も
- GPT-5では「根拠提示モード」が強化されたらしい
- Claude 3.5には「事実確認機能」が追加
でも、どのモデルでもゼロにはならない。大規模言語モデルの仕組み上、完全に避けることはできないみたい。
まとめ:検証マインドセット
究極の解決策はプロンプトテクニックそのものではなく、使用マインドセットの変化にあります。
AIの出力は最終回答じゃなくて、検証が必要な初稿として扱う。
AIを活用すべき場面:
- アイデアを素早く生成
- レビュー前提のドラフト作成
- 可能性の探索
- 渡した資料の要約
AIに頼るべきでない場面:
- 知らないことを知るオラクルとして
上記のテクニックを駆使すればミスは大幅に減りますが、「減る=ゼロ」ではないことを肝に銘じましょう。
信用しつつ、必ず検証する。これがAIと付き合う上での基本姿勢です。
関連記事: