AIの限界と人間の判断

🔄 前回のおさらい: レッスン4では、AI利用の開示タイミングと方法、文脈に応じた透明性の原則を学びました。今回は、AIに判断を委ねるべきでない場面を考えます。

AIには限界がある

AIは強力です。しかし、すべてに適しているわけではありません。

AIの限界を理解することは悲観論ではなく、実践的な知恵です。AIが判断すべきでない場面を知ることで、AIが活躍すべき場面でより効果的に使えるようになります。

AIにできないこと

AIはあなたのように文脈を理解できない。 AIはあなたの具体的な状況、人間関係、ステークを知りません。あなたは知っています。

AIは責任を取れない。 問題が起きたとき、「AIがそう言った」は許される弁明ではありません。責任を負うのは人間です。

AIは価値観を比較できない。 効率 vs 公平性、速度 vs 正確さ——こうした本当のトレードオフが存在するとき、AIには比較する価値観がありません。あなたにはあります。

AIはあなたにとって何が重要かを知らない。 あなたの優先事項、本当に気にしていること、プロンプトの文字通りの意味を超えた目標——AIはそれを理解しません。

AIは自分のエラーをすべて捕捉できない。 AIは自信を持って間違えます。それを見つけられるのは人間の検証だけです。

✅ 確認クイズ: AIが「責任を取れない」とはどういうことですか？（AI支援の意思決定で問題が起きた場合、「AIのせい」にはできない。使った人間が結果の責任を負う。）

重大な意思決定カテゴリー

人間の判断が常に必要な決定：

人々の人生に影響する決定：

• 採用と解雇
• 医療診断と治療
• 刑事司法の判断
• 入国管理と難民認定
• 児童福祉の決定

権利と自由に影響する決定：

• 保釈と量刑
• ローンや住宅の承認
• サービスへのアクセス
• 不正行為の認定
• アカウントの停止

取り消せない結果：

• 簡単に元に戻せないすべてのこと
• 「一方通行のドア」の決定
• 長期的な幸福に影響する行動

ステークが高いほど、人間の判断がより重要になります。

日本の職場における意思決定文化

日本の「稟議制度」（りんぎせいど）は、複数の関係者が意思決定に関わる仕組みです。AIの導入によって、この制度にも変化が生じています。

AIが「空気」を読めない問題： 日本の職場では暗黙の文脈や「空気」が意思決定に大きな役割を果たします。AIはデータに基づく提案はできても、会議室の雰囲気や人間関係の微妙なニュアンスは理解できません。

「前例主義」とAI： 日本の組織は前例を重視する傾向がありますが、AIは過去のデータに基づいて提案するため、「前例がないから」という理由で人間が却下すべき場面でもAIが推奨してしまうことがあります。

責任の所在： 日本では「責任」の概念が重い。AI支援の判断が問題を起こしたとき、「AIの提案に従っただけ」は日本の組織文化では特に受け入れられにくい弁明です。

「ヒューマン・イン・ザ・ループ」の問題

理論： 人間の監視がAIのエラーを防ぐ。

問題： 自動化バイアス。

自動化バイアスとは： 自動化されたシステムが間違っていても、それに従ってしまう傾向。

なぜ起きるか：

• AIは権威あるように見える（コンピューターだから！）
• AIに疑問を呈するのは労力がかかる
• 人間は忙しい——AIの判断を機械的に承認する方が楽
• 一貫性への信頼（AIはいつも同じルールを適用する）

結果： 「ヒューマン・イン・ザ・ループ」が実質「人間がAIの判断をハンコで承認する」になる。

本当の監視に必要なもの：

• 実際にレビューする時間
• 何を見るべきかを知るトレーニング
• AIを却下する権限
• AIに疑問を呈することを支持する文化
• エラーを見つけたことに対するペナルティがないこと

✅ 確認クイズ: 「自動化バイアス」が日本の稟議制度にどう影響しますか？（AIの分析結果が添付された稟議書は、人間が独自に検討せずそのまま承認される可能性がある。「コンピューターの分析だから正しいだろう」という信頼が、本来必要な人間の判断を省略させる。）

AIはアドバイザーであり、意思決定者ではない

有効な使い方： AIはアドバイザーであって、意思決定者ではない。

良いアドバイザーの活用：

• 「どんな要素を考慮すべきですか？」
• 「ここにはどんな選択肢がありますか？」
• 「見落としていることはありますか？」
• 「他の人はこれをどう見るでしょうか？」

そして自分が判断する。 要素を比較し、何が重要かを考え、責任を持つ。

悪い使い方：

• 「どうすべきですか？」→ そのまま実行
• AIが自信を持って答えたから従う
• 自分が判断すべきことをAIに任せる

適切な自動化レベル

AIを却下すべきとき

以下の場合、AIを却下する：

• 直感で何かがおかしいと感じたとき
• ステークが高く、エラーが重大な影響を持つとき
• AIが持っていない文脈をあなたが持っているとき
• AIの出力が他の信頼できる情報と矛盾するとき
• この判断を弁護するのが不安なとき

AIの一貫性や自信に惑わされて従わない。

説明責任の問い

AI支援の判断がうまくいかなかった場合、誰に責任があるか？

AIではありません。AIは責任を負いません。

AIを使った人間に責任があります。

含意：

• 自分が責任を持てない判断にAIを使わない
• AIが何を推奨しているか、なぜかを理解する
• AIを指さすだけでなく、自分の判断を説明できるようにする
• 検証できないことに賭けない

まとめ

• AIには実際の限界がある：文脈理解、責任、価値判断、自己エラーの検出
• 人生と権利に影響する重大な判断には人間の判断が必要
• 自動化バイアス：人間はAIが間違っていても従ってしまう傾向がある
• 「ヒューマン・イン・ザ・ループ」は、人間が実際に判断を行使して初めて機能する
• AIはアドバイザーであり意思決定者ではない——責任を持つのはあなた
• 自分の線引きを知る：AIが助けになる場面 vs 人間の判断が不可欠な場面

次のレッスン

次は「AIの出力を批判的に評価する」——ハルシネーション、ファクトチェック、検証ワークフローを学びます。