AI가 방금 당신에게 거짓말을 했어요. 정말 자신감 있게요.
존재하지 않는 연구를 인용했을 수도 있고, 통계를 조작해냈을 수도 있어요. 출처도 모를 인용구를 댔을지도 모르고, 사실 제품에 없는 기능을 자신 있게 설명했을 수도 있죠.
이를 ‘AI 환각’이라고 부르는데, AI를 쓸 때 가장 답답한 부분이 바로 이거죠.
먼저 아쉽지만 완전히 없애기는 어려워요. AI 모델은 사실 여부를 검증하는 게 아니라, 문맥상 가장 자연스럽게 들리는 단어를 예측해 텍스트를 생성하거든요.
하지만 걱정하지 마세요. 환각 현상을 크게 줄일 수 있어요. 특정 프롬프팅 기법으로 환각율을 35% 이상 낮출 수 있다는 연구 결과도 나와 있고, 여러 기법을 조합하면 효과가 훨씬 커지죠.
실제로 효과를 본 방법들을 소개해 드릴게요.
AI가 왜 환각을 볼까요
문제에 대한 이해가 깊어지면 해결책도 더 명확해져요.
AI는 인간처럼 지식을 ‘가지고’ 있는 게 아니에요. 학습 데이터의 패턴을 바탕으로 가장 확률이 높은 단어를 이어갈 뿐이죠. 그래서 질문을 받으면 논리적일 뿐 아니라 그럴듯한 답변을 생성해요. 사실이 맞든 틀리든 상관없이요.
이런 특성 때문에 AI가 특히 환각을 일으키기 쉬운 상황은 다음과 같아요.
- 주제가 모호하거나 최신 이슈일 때 (학습 데이터 부족)
- 정확한 날짜, 숫자, 이름 등 세부 정보를 요구할 때
- 질문이 모호해 여러 해석이 가능한 경우
- 불확실한 상황에서도 무리하게 답변을 요구할 때
AI 모델은 “모른다”고 말하는 것보다 확신에 찬 엉뚱한 답변을 하는 편을 더 선호해요. 그래서 사용자의 역할은 AI가 틀린 답을 할 확률을 낮추는 거죠.
기법 1: “모르겠어"라고 말할 수 있게 해주기
AI는 기본적으로 답을 내는 것을 최우선으로 설정되어 있어요. 답할 수 없는 상황에서도 무리하게 답변을 만들죠. 따라서 “모르는 건 모른다고 해도 괜찮다”는 점을 명시적으로 알려줘야 해요.
프롬프트에 추가:
뭔가 확실하지 않으면 그냥 말해. "모르겠어"라고 하는 게
엉뚱한 답 하는 것보다 낫다고. 아예 답이 없는 게
틀린 답보다 낫다고.
이 작은 변경만으로도 AI가 최적화하는 목표가 달라져요. 단순히 “답을 줘”가 아니라 “정확한 답을 줘. 만약 모르면 불확실성을 인정해”라고 설정하는 거죠.
Claude 개발 문서에 실린 연구에 따르면, 이 방식만 적용해도 질문별 환각 발생률이 크게 줄어든다고 해요.
기법 2: 출처와 인용 요구하기
AI에게 출처나 인용을 요구하면, 주장에 더 신중해져요.
문서일 때:
내가 준 문서에만 기반해서 이 질문에 답해. 답변을 뒷받침하는
구체적인 부분들을 인용해. 문서에 정보가 없으면 그렇게 말해.
일반 상식일 때:
X를 설명해. 구체적인 주장이 있을 땐 그 정보에 대해 확신하는지,
아니면 확인이 필요한지 써 줄래.
인용을 요구하면 AI가 그럴듯하게 들리는 허구를 만들어내려 하기보다, 구체적인 근거에 기반해 답변을 구성하게 되죠.
기법 3: 복잡한 질문 쪼개기
AI는 복잡하고 여러 하위 질문이 포함된 프롬프트에서 환각을 더 자주 일으켜요. 모델이 모든 정보를 한 번에 처리하려다 보니, 모호한 부분은 추측으로 채우게 되거든요.
대신에:
ProductX의 역사, 주요 기능, 가격, 고객 후기를 말해 줄래?
그리고 ProductY, ProductZ와 비교해 줘.
이렇게 해 봐:
단계별로 쪼개 보자.
먼저: ProductX의 주요 기능이 뭐야?
하위 질문별로 나누어 차례로 물어보세요. 이렇게 하면 더 정확한 답변을 받을 수 있고, 틀린 부분이 나오더라도 빠르게 수정할 수 있어요.
기법 4: Chain-of-Thought 프롬프팅 사용하기
AI에게 추론 과정을 단계별로 보여달라고 요청하면, 논리적 사고가 필요한 작업에서 정확도가 크게 향상돼요.
추가:
최종 답변 주기 전에 이것 자세히 생각해 봐.
추론 과정을 보여 줄래?
AI가 각 단계를 명확히 서술하도록 하면 실수를 스스로 발견할 확률이 훨씬 높아져요. 2024년 연구에 따르면 Chain-of-Thought 프롬프팅을 적용했을 때 GPT-4의 수학 오류가 28%나 줄었다는 결과도 나왔어요.
이 방식이 효과적인 이유는 AI가 논리적 단계를 생략하고 결론만 튀어 나올 때 환각이 자주 발생하기 때문이에요. 추론 과정을 명시적으로 요구하면 이러한 공백을 메울 수 있죠.
기법 5: 범위 제한하기
질문의 범위가 넓을수록 AI가 틀릴 확률도 비례해 커져요. 질문의 초점을 더 좁혀보세요.
넓은 게 (위험):
머신러닝에 대해 설명해 줄래?
좁은 게 (더 안전):
지도 학습과 비지도 학습의 차이를 설명해 줄래?
3~4 문장으로 유지하고, 세부 사항 다 말하는 게 아니라
핵심 차이만 집중해.
짧고 명확한 질문은 AI가 불확실한 영역에 무분별하게 추측을 넣는 것을 막아줘요.
기법 6: 참고 자료 제공하기
AI에게 특정 정보를 바탕으로 작업하게 하려면, 직접 자료를 제공해 주세요. AI가 모든 걸 ‘알고 있다’고 믿지 마세요.
사실 기반 작업:
제품 문서가 여기 있어:
[문서 붙여넣기]
이 문서만 기반으로 고객 질문에 답해 줄래:
[질문]
문서에 없는 정보는 추가하지 말아 줄래.
분석:
데이터가 여기 있어:
[데이터 붙여넣기]
이 데이터에만 있는 거만 분석해 줄래.
없는 정보에 대해선 추측하지 말고.
AI에게 작업할 실제 참고 자료가 주어지면, 허구를 만들어내려는 유혹이나 실수가 크게 줄어든답니다.
기법 7: 자기 답변을 확인하라고 하기
기대 이상으로 효과적이에요. AI가 답변을 생성한 후, 스스로 정확성을 검증하도록 요청해 보세요.
후속 프롬프트:
지금 네 답변을 검토해 줄래? 정확하지 않을 수도 있거나
확실하지 않은 주장이 있어? 그걸 지적해 줄래?
AI는 명시적으로 검증 요청을 받으면 자신의 환각을 스스로 찾아내는 경우가 많아요. 이 자체 검증 단계는 답변의 품질을 한 단계 높여주는 안전장치 역할을 하죠.
중요한 작업일 땐 원래 프롬프트에 이걸 짜 넣을 수도 있어요:
질문에 답하고, 정확성 위해 답변을 다시 검토해 줄래.
완전히 확신하지 못한 것 뭐든 표시해 줄래.
기법 조합하기
특정 기법 하나로 환각을 완전히 차단하기는 어려워요. 하지만 여러 기법을 조합하면 시너지가 발생해 효과가 훨씬 커지죠.
실제로 여러 기법을 적용한 프롬프트 템플릿은 다음과 같아요.
[주제]에 대해 질문할 거야.
지침:
1. 확실한 정보만 써
2. 불확실하면 추측하지 말고 "확실하지 않아"라고 말해
3. 구체적인 주장엔 너 확신 수준을 메모해
4. 답변을 단계별로 생각해 줄래?
5. 답변 후에 검증이 필요한 부분을 간단히 메모해 줄래?
내 질문: [너의 질문]
이 프롬프트:
- 불확실성을 표현해도 괜찮다고 명시 (기법 1)
- 답변에 대한 확신 수준을 요구 (기법 2)
- 단계별 추론을 권장 (기법 4)
- 자체 검증 단계를 포함 (기법 7)
막을 수 없는 것들
현실적으로 완벽하게 막기는 어려워요.
여전히 환각이 발생할 수 있는 상황은 다음과 같아요.
- 최신 이슈 (학습 데이터 마감일 이후 사건)
- 매우 구체적인 디테일 (특정 날짜, 희귀 통계, 부수적 인물)
- 정확한 기술 사양 (API 파라미터, 코드 문법 등)
- 인용문 및 출처 (AI가 출처를 허위로 생성할 수 있음)
정확성이 생명인 곳:
- 반드시 별도의 출처로 확인하세요
- AI가 제시한 인용문은 검증 없이 믿지 마세요
- AI는 초안 작성이나 아이디어 발상용이지, 최종 사실 확인용으로는 적합하지 않아요
검증 마인드셋
가장 확실한 해결책은 특정 프롬프트 기법이 아니라, 사용자의 사고방식 변화예요.
AI의 출력물을 최종 답변이 아니라, 검토가 필요한 초안으로 여기세요. AI는 다음과 같은 용도로 활용하는 게 가장 효과적이에요.
- 아이디어 빠른 브레인스토밍
- 검토가 필요한 콘텐츠 초안 작성
- 다양한 가능성 탐색
- 제공한 자료 요약 및 정리
AI를 모든 걸 알고 있는 전지전능한 존재처럼 여기지 마세요. AI는 문맥상 가장 그럴듯한 단어를 예측할 뿐이며, 때로는 분명히 틀린 정보를 내놓기도 하죠.
위에서 소개한 기법들을 적용하면 틀린 답변을 받을 확률을 크게 낮출 수 있어요. 하지만 “줄어든다”는 말은 “전혀 발생하지 않는다”는 뜻이 아니에요.
믿되, 반드시 확인하세요.
빠른 참조: 7가지 기법
- “모르겠어” 허용하기 — 모르는 건 모른다고 해도 괜찮다는 명시적 지시
- 출처와 인용 요구하기 — 구체적인 증거를 바탕으로 답변 고정
- 복잡한 질문 쪼개기 — 한 번에 한 부분씩 나누어 질문
- Chain-of-Thought 활용하기 — 답변 전에 “단계별로 생각하세요” 요청
- 범위 제한하기 — 초점을 좁힌 질문으로 간결한 답변 유도
- 참고 자료 제공하기 — 작업에 필요한 실제 사실과 자료 제공
- 자체 검증 요구하기 — AI가 생성한 답변을 스스로 검증하게 하기
개별 기법으로 빠르게 개선하고, 조합하면 신뢰도를 극대화할 수 있어요.
이제 AI는 훨씬 더 신뢰할 수 있는 파트너가 될 거예요.
💡 환각을 줄이는 것은 프롬프트 엔지니어링의 핵심이에요. 7가지 기법을 넘어 AI를 효과적으로 다루는 법이 궁금하시다면 프롬프트 엔지니어링 무료 강좌에서 기초부터 고급 기법까지 차근차근 배워보세요.
