자기 수정과 검증 패턴

🔄 Quick Recall: 지난 레슨에서 다단계 추론 체인을 설계했어요 — 순차적, 분기, 발산-수렴 토폴로지와 단계당 하나의 인지 모드 원칙, 체크포인트 검증. 이제 체인 내에서 AI가 스스로의 출력을 비판하고 개선하는 패턴을 배워요.

왜 자기 수정인가

“좋은 보고서를 써줘"라고 하면 AI는 최선을 다해요. 하지만 자신이 놓친 것을 모르는 채로. “보고서를 쓰고, 그 다음 비판적으로 검토해"라고 하면 AI가 자신의 약점을 찾아내요.

핵심 통찰: 생성 모드와 비판 모드는 서로 다른 인지 작업이에요. 동시에 시키면 둘 다 약해져요. 분리하면 둘 다 강해져요.

패턴 1: 생성 후 검증 (Generate-then-Verify)

가장 기본적이고 강력한 자기 수정 패턴:

[1단계: 생성]
이 문제에 대한 분석을 작성해줘.
→ 자유롭게, 완전하게

[2단계: 검증]
위 분석을 비판적으로 검토해줘:
- 논리적 오류는 없나?
- 빠뜨린 관점은?
- 증거가 결론을 뒷받침하나?
- 확신도(높음/중간/낮음)와 근거

[3단계: 수정]
검증에서 파악된 문제를 반영해서 수정 버전을 작성해줘.

✅ Quick Check: “좋은 분석을 주의 깊게 써줘”(한 번)와 “분석을 쓰고→비판하고→수정해줘”(세 번)의 차이는? 첫 번째는 AI가 생성하면서 동시에 품질을 관리하려 해요 — 두 인지 모드가 서로를 방해해요. 두 번째는 각 모드가 전용 공간을 가져서 각각 더 깊이 작동해요.

패턴 2: 악마의 변호인 (Devil’s Advocate)

결론의 견고성을 테스트:

[결론 도출 후]

이제 악마의 변호인 역할을 해줘.
이 결론이 틀렸다고 가정하고:
1. 이 결론에 반대하는 가장 강한 논증 3가지
2. 내가 놓쳤을 수 있는 반례
3. 이 결론이 성립하지 않는 조건이나 맥락
4. 확인 편향으로 과대평가했을 수 있는 증거

결과가 반론을 견디면 → 결론을 신뢰. 견디지 못하면 → 결론을 수정.

패턴 3: 신뢰도 보정 (Confidence Calibration)

AI가 자신의 확신도를 명시적으로 평가:

각 결론에 대해 다음을 명시해줘:

신뢰도: [높음 / 중간 / 낮음]
근거: [왜 이 수준인지]
높음: 강한 증거가 여럿이고 대안적 해석이 약함
중간: 증거가 있지만 불완전하거나 대안 해석도 가능
낮음: 증거가 제한적이거나 불확실성이 높음

사용자가 어디에 주의를 기울여야 하는지 알 수 있어요. “낮음"인 부분에 추가 조사를 집중하면 돼요.

패턴 4: 다중 렌즈 리뷰 (Multi-Lens Review)

같은 출력을 여러 관점에서 검토:

이 분석을 세 가지 렌즈로 검토해줘:

렌즈 1 - 정확성: 사실적 오류나 오도하는 진술은?
렌즈 2 - 논리: 논증에 비약이나 순환 논리는?
렌즈 3 - 완전성: 빠뜨린 핵심 관점이나 데이터는?

각 렌즈에서 파악된 문제를 나열하고,
심각도(높음/중간/낮음)를 표시해줘.

패턴 5: 자기 수리 시퀀스 (Self-Repair Sequence)

오류 감지 시 진단 → 계획 → 수정의 체계적 접근:

[오류 감지 시]

1. 진단: 뭐가 정확히 잘못됐나? 근본 원인은?
2. 영향: 이 오류가 다른 부분에 어떤 영향을 미쳤나?
3. 계획: 어떻게 수정할 건지? 어떤 부분을 다시 해야 하나?
4. 수정: 계획대로 수정 실행
5. 검증: 수정이 원래 문제를 해결하고 새 문제를 만들지 않았는지 확인

언제 자기 수정을 쓰고 언제 안 쓸까

핵심 정리

• 생성 모드와 비판 모드를 분리하면 둘 다 강해져요 — “생성 후 검증"이 “조심히 생성"보다 항상 나아요
• 악마의 변호인 패턴으로 결론을 스트레스 테스트 — 반론을 견디면 신뢰, 못 견디면 수정
• 신뢰도 보정으로 AI가 어디에서 확신하고 어디서 불확실한지 명시적으로 표현
• 다중 렌즈 리뷰(정확성, 논리, 완전성)가 단일 관점 리뷰보다 더 많은 문제를 잡아요
• 자기 수정은 복잡하고 중요한 작업에 가치가 크지만, 단순 작업에는 과도 — 상황에 맞게 적용

Up Next: 다음 레슨에서 메타 프롬프팅과 재귀적 개선을 다뤄요 — AI가 AI를 개선하는 기법.