인간 판단과 AI 한계

AI에는 한계가 있어요

🔄 Quick Recall: 이전 레슨에서 투명성과 공개의 원칙을 배웠어요. 이번에는 더 근본적인 질문으로 넘어가요 — AI가 뭘 할 수 없는지, 어떤 결정에는 반드시 인간이 필요한지.

AI는 강력해요. 하지만 모든 것에 적합하지는 않아요.

AI의 한계를 이해하는 건 비관이 아니라 실용적 지혜예요. AI가 결정하면 안 되는 곳을 알면, AI가 결정해야 할 곳에서 더 잘 활용할 수 있어요.

AI가 할 수 없는 것

AI는 여러분처럼 맥락을 이해하지 못해요. AI는 여러분의 구체적 상황, 인간관계, 이해관계를 몰라요. 여러분은 알고요.

AI는 책임질 수 없어요. 일이 잘못되면 “AI가 그렇게 했어요"는 변명이 안 돼요. 사람이 책임을 져요.

AI는 가치를 저울질하지 못해요. 효율성 vs. 공정성, 속도 vs. 꼼꼼함 같은 진짜 트레이드오프가 있을 때, AI에는 저울질할 가치관이 없어요. 여러분에게는 있고요.

AI는 여러분에게 뭐가 중요한지 몰라요. AI는 여러분의 우선순위, 관심사, 말 그대로의 프롬프트 너머 진짜 목표를 이해하지 못해요.

AI는 자기 오류를 다 잡지 못해요. AI는 자신 있게 틀린 답을 내놓아요. 사람의 검증만이 이걸 잡을 수 있어요.

고위험 결정 범주

인간 판단이 반드시 필요한 결정:

사람의 삶에 영향을 미치는 결정:

• 채용과 해고
• 의료 진단과 치료
• 형사사법 결정
• 출입국과 난민 심사
• 아동복지 판단

권리와 자유에 영향을 미치는 결정:

• 보석과 양형
• 대출과 주거 승인
• 서비스 접근
• 사기 판정
• 계정 정지

되돌릴 수 없는 결과:

• 쉽게 되돌릴 수 없는 모든 것
• 일방통행 결정
• 장기 복지에 영향을 미치는 행동

이해관계가 높을수록 인간 판단이 더 중요해요.

‘루프 속의 인간’ 문제

이론: 인간 감독이 AI 오류를 방지해요.

문제: 자동화 편향.

자동화 편향이란: AI가 틀릴 때도 자동화 시스템에 따르는 경향이에요.

왜 일어나냐면:

• AI가 권위적으로 보여요 (컴퓨터니까!)
• AI에 의문을 품으려면 노력이 필요해요
• 사람은 바빠요 — 도장 찍기가 쉬워요
• 일관성을 신뢰해요 (AI는 항상 같으니까)

결과: “루프 속의 인간"이 종종 “인간이 AI 결정에 도장 찍기"가 돼요.

✅ Quick Check: 일상에서 AI 추천을 그냥 수락한 적이 있나요? 예를 들어 검색 결과 1번을 항상 클릭한다든지, 추천 알고리즘을 그대로 따른다든지 — 이게 바로 자동화 편향이에요.

진짜 감독에는 이게 필요해요:

• 실제로 검토할 시간
• 뭘 봐야 하는지 아는 교육
• 덮어쓸 수 있는 권한
• AI에 의문을 품는 문화
• 오류를 잡아도 불이익 없는 환경

AI는 조언자, 결정자가 아니에요

유용한 프레이밍: AI는 조언자지, 결정자가 아니에요.

좋은 조언자 활용:

• “어떤 요소를 고려해야 할까?”
• “여기서 선택지가 뭐가 있지?”
• “내가 놓치는 게 뭐가 있을까?”
• “다른 사람은 이걸 어떻게 볼까?”

그다음 내가 결정해요. 요소를 저울질하고, 뭐가 중요한지 고려하고, 책임을 져요.

나쁜 사용:

• “뭘 해야 해?” → 바로 따르기
• AI가 자신 있어 보여서 따르기
• 내가 해야 할 판단을 AI에 넘기기

맥락이 중요해요

AI가 모르는 것:

• 이 사람과의 구체적 관계
• 조직의 비공식적 역학
• 감정적으로 정말 걸린 것
• 이 순간에 이르기까지의 역사
• 내가 진심으로 원하는 것

내가 맥락을 제공해요. AI는 선택지와 정보를 제공해요. 결정은 내가 해요.

적절한 자동화 수준

AI를 덮어써야 할 때

이럴 때 AI를 덮어쓰세요:

• 직감이 뭔가 이상하다고 할 때
• 이해관계가 충분히 높아서 오류가 중요할 때
• AI에 없는 맥락을 내가 갖고 있을 때
• AI 결과물이 다른 신뢰할 수 있는 정보와 모순될 때
• 이 결정을 변호하기 불편할 때

AI가 일관적이거나 자신 있다는 이유만으로 따르지 마세요.

책임 문제

AI 보조 결정이 잘못됐을 때 책임은 누구에게?

AI에게가 아니에요. AI는 책임을 지지 못해요.

AI를 사용한 사람이 져요.

시사점:

• 책임지기 불편한 결정에 AI를 쓰지 마세요
• AI가 뭘 추천하는지, 왜 그런지 이해하세요
• AI만 가리키지 않고도 결정을 설명할 수 있어야 해요
• 검증할 수 없으면 베팅하지 마세요

핵심 정리

• AI에는 실제 한계가 있어요: 맥락, 책임, 가치관, 자기 오류 감지
• 삶과 권리에 영향을 미치는 고위험 결정에는 인간 판단이 필요해요
• 자동화 편향: 사람은 AI가 틀려도 따르는 경향이 있어요
• “루프 속의 인간"은 실제로 판단을 행사해야 효과가 있어요
• AI는 조언자로, 결정자가 아니에요 — 책임은 내가 져요
• 책임지기 불편한 결정에 AI를 쓰지 마세요
• 내 한계를 알아두세요: AI가 돕는 곳 vs. 인간 판단이 필수인 곳

Up next: 다음 레슨에서는 비판적 평가 — AI 결과물을 맹목적으로 믿지 않는 방법을 알아봐요.