캡스톤: 복잡한 AI 추론 시스템 설계

🔄 Quick Recall: 지난 레슨에서 평가, 벤치마킹, 품질 보증을 배웠어요 — 구조화된 루브릭, 맞춤 벤치마크, 회귀 테스트, 그리고 정의→측정→변경→재측정→비교→배포→모니터링의 평가 메타패턴. 이제 모든 것을 하나로 합쳐요.

시스템 프롬프트 설계, 추론 체인, 자기 수정, 메타 프롬프팅, 문제 분해, 평가를 배웠어요. 이제 이 모든 것을 하나의 완전한 아키텍처로 통합해서 진짜 복잡한 문제를 해결해요.

도전 과제 선택

다음 중 하나를 고르거나 동등한 복잡성의 자기 문제를 가져오세요:

도전 A: 실사 분석기 — 기업 인수 후보의 정보를 받아 재무 분석, 리스크 평가, 전략적 적합성, 투자 여부 추천을 포함한 종합 실사 보고서 생산

도전 B: 연구 논문 합성기 — 연구 질문과 5-10개 논문 초록을 받아 합의 발견, 모순, 격차, 추천 후속 연구를 식별하는 합성문 생산

도전 C: 제품 출시 전략가 — 제품 상세와 시장 맥락을 받아 포지셔닝, 메시징, 채널 전략, 가격, 90일 실행 계획을 포함한 종합 시장 진출 전략 생산

도전 D: 자기 문제 — 구조화된 AI 추론 접근이 유용할 복잡하고 다면적인 업무 문제

1단계: 문제 분해 (레슨 6)

문제의 구조를 이해하는 것에서 시작하세요.

인지 작업 식별:

이 문제를 해결해야 해: [선택한 도전 설명]

필요한 모든 인지 작업을 식별해줘:
- 어떤 정보를 수집해야 하나?
- 어떤 분석을 수행해야 하나?
- 어떤 평가나 판단이 필요한가?
- 어떤 창의적 생성이 필요한가?
- 어떤 합성이 이뤄져야 하나?
- 어떤 비판이나 검증이 필수인가?

각 작업과 의존성(선행 필요 작업)을 나열해줘.

체인 토폴로지 설계: 작업과 의존성에 따라 순차적, 분기, 발산-수렴, 또는 하이브리드 아키텍처를 선택하세요.

인터페이스 계약 정의: 각 핸드오프에서 출력 형식, 필수 정보, 품질 임계값을 명시하세요.

✅ Quick Check: 선택한 도전의 인지 작업을 목록으로 만들어 보세요. 몇 개의 독립적 단계와 몇 개의 의존적 단계가 있나요?

2단계: 시스템 프롬프트 설계 (레슨 2)

각 단계를 위한 시스템 프롬프트를 5계층으로 설계하세요:

계층 1 — 정체성: 이 단계에 필요한 “전문가” 페르소나
계층 2 — 추론 프레임워크: 이 단계가 문제에 접근하는 방식
계층 3 — 행동 가이드라인: 소통과 판단의 원칙
계층 4 — 제약: 일반적 실패 모드를 방지하는 가드레일
계층 5 — 출력 구조: 인터페이스 계약에 따른 출력 형식

3단계: 자기 수정 통합 (레슨 4)

모든 단계에 자기 수정이 필요한 건 아니에요. 다음 단계에 추가하세요:

오류가 연쇄될 수 있는 단계 (체인 초반)
판단이나 평가가 포함된 단계 (편향 가능성)
최종 출력을 생산하는 단계 (품질이 중요)

각 검증 포인트에 적합한 패턴 선택:

생성 후 검증 — 분석적 단계에
악마의 변호인 — 평가적 단계에
신뢰도 보정 — 주장을 생산하는 모든 단계에
다중 패스 개선 — 최종 출력에

4단계: 메타 프롬프팅 개선 (레슨 5)

테스트 전에 메타 프롬프팅으로 설계를 개선하세요:

이 시스템 프롬프트를 검토해줘: [단계별 시스템 프롬프트]

프롬프트 엔지니어링 전문가로서 식별해줘:
- 더 구체적이어야 할 모호한 지시
- 실패 모드를 유발할 수 있는 누락된 제약
- 노이즈를 더하는 중복 지시
- 추론 프레임워크 추가 기회

수정된 최적화 버전을 제공해줘.

5단계: 평가 프레임워크 (레슨 7)

시스템 성능을 측정하는 방법을 설계하세요.

루브릭 구축: 선택한 문제에 적합한 4-6개 차원. 각 차원에 5/3/1 설명.

벤치마크 설계: 8-12개 테스트 케이스:

표준 시나리오 4-5개
엣지 케이스 2-3개
적대적 입력 1-2개
이전 문제 시나리오 1-2개

6단계: 테스트와 반복

시스템을 실행하고 결과를 점검하세요.

가장 대표적인 벤치마크 케이스 3개를 전체 시스템에 실행
각 출력을 루브릭으로 점수화
가장 약한 출력을 생산하는 단계 식별
진단: 시스템 프롬프트 문제? 추론 체인? 자기 수정 부재?
가장 약한 고리를 수정하고 재실행

증상	원인	해결
피상적 분석	불충분한 추론 프레임워크	시스템 프롬프트의 추론 단계 강화
일관성 없는 품질	체크포인트 부재	단계 사이 검증 추가
단계 간 정보 유실	부실한 인터페이스 계약	출력 필수 포함 사항 명시
과신된 결론	자기 수정 부재	신뢰도 보정과 악마의 변호인 추가
중요 고려 사항 누락	과소 분해	해당 단계를 두 개의 집중 단계로 분리

코스 리뷰: 추론 아키텍트의 툴킷

레슨	핵심 기법	적용 시점
2. 시스템 프롬프트	5계층 설계	모든 AI 워크플로에 행동 기반 필요
3. 추론 체인	순차, 분기, 발산-수렴	모든 다단계 문제
4. 자기 수정	생성-검증, 악마의 변호인, 보정	고위험 또는 복잡한 출력
5. 메타 프롬프팅	프롬프트 부검, 재귀적 개선	품질 정체 또는 프롬프트 실패 시
6. 분해	수직 슬라이싱, 수평 레이어링	“불가능한” 문제를 분해할 때
7. 평가	루브릭, 벤치마크, 회귀 테스트	신뢰해야 하는 모든 시스템

아키텍트의 원칙

설계하기 전에 분해하세요. 문제의 구조를 먼저 이해해요.
단계당 하나의 인지 모드. 분석과 평가를 섞지 마세요.
구축하기 전에 검증하세요. 단계 사이의 체크포인트가 연쇄 오류를 방지해요.
최적화하기 전에 측정하세요. 직감이 아닌 평가 루브릭으로.
복잡성을 문제에 맞추세요. 단순한 문제에는 단순한 시스템.
완벽이 아닌 안정성을 설계하세요. 일관된 ‘좋음’이 간헐적 ‘훌륭함’보다 나아요.

다음 단계

캡스톤 프로젝트 완성. 전체 벤치마크를 실행하고 품질이 임계값을 충족할 때까지 반복하세요.
업무에 적용. AI로 하는 가장 복잡한 작업을 추론 아키텍처로 재설계하세요.
개인 라이브러리 구축. 최고의 시스템 프롬프트, 체인 설계, 평가 루브릭을 재사용을 위해 저장하세요.
스킬 탐색. 시스템 프롬프트 아키텍트와 AI 페르소나 디자이너로 이 기법들을 보완하세요.
수료증 받기. 퀴즈를 완료하고 수료증을 받으세요.

핵심 정리

추론 아키텍처는 고급 프롬프팅이 아니라 AI를 위한 시스템 설계예요
완전한 워크플로: 분해, 설계, 수정, 평가, 반복
프로페셔널 AI 아키텍트는 콘텐츠 생성보다 시스템 설계에 더 많은 시간을 투자해요
일관된 품질은 직감이 아닌 구조화된 평가에서 나와요
이제 여러분은 AI 사용자 **상위 1%**에 드는 툴킷을 보유하고 있어요