캡스톤: 복잡한 AI 추론 시스템 설계
이 코스의 모든 기법을 결합해 복잡한 실제 문제를 위한 완전한 AI 추론 아키텍처를 설계, 구축, 평가하세요.
프리미엄 강좌 콘텐츠
이 레슨은 프리미엄 강좌의 일부예요. Pro로 업그레이드하면 모든 프리미엄 강좌와 콘텐츠를 이용할 수 있어요.
- 모든 프리미엄 강좌 이용
- 1000개 이상의 AI 스킬 템플릿 포함
- 매주 새로운 콘텐츠 추가
🔄 Quick Recall: 지난 레슨에서 평가, 벤치마킹, 품질 보증을 배웠어요 — 구조화된 루브릭, 맞춤 벤치마크, 회귀 테스트, 그리고 정의→측정→변경→재측정→비교→배포→모니터링의 평가 메타패턴. 이제 모든 것을 하나로 합쳐요.
시스템 프롬프트 설계, 추론 체인, 자기 수정, 메타 프롬프팅, 문제 분해, 평가를 배웠어요. 이제 이 모든 것을 하나의 완전한 아키텍처로 통합해서 진짜 복잡한 문제를 해결해요.
도전 과제 선택
다음 중 하나를 고르거나 동등한 복잡성의 자기 문제를 가져오세요:
도전 A: 실사 분석기 — 기업 인수 후보의 정보를 받아 재무 분석, 리스크 평가, 전략적 적합성, 투자 여부 추천을 포함한 종합 실사 보고서 생산
도전 B: 연구 논문 합성기 — 연구 질문과 5-10개 논문 초록을 받아 합의 발견, 모순, 격차, 추천 후속 연구를 식별하는 합성문 생산
도전 C: 제품 출시 전략가 — 제품 상세와 시장 맥락을 받아 포지셔닝, 메시징, 채널 전략, 가격, 90일 실행 계획을 포함한 종합 시장 진출 전략 생산
도전 D: 자기 문제 — 구조화된 AI 추론 접근이 유용할 복잡하고 다면적인 업무 문제
1단계: 문제 분해 (레슨 6)
문제의 구조를 이해하는 것에서 시작하세요.
인지 작업 식별:
이 문제를 해결해야 해: [선택한 도전 설명]
필요한 모든 인지 작업을 식별해줘:
- 어떤 정보를 수집해야 하나?
- 어떤 분석을 수행해야 하나?
- 어떤 평가나 판단이 필요한가?
- 어떤 창의적 생성이 필요한가?
- 어떤 합성이 이뤄져야 하나?
- 어떤 비판이나 검증이 필수인가?
각 작업과 의존성(선행 필요 작업)을 나열해줘.
체인 토폴로지 설계: 작업과 의존성에 따라 순차적, 분기, 발산-수렴, 또는 하이브리드 아키텍처를 선택하세요.
인터페이스 계약 정의: 각 핸드오프에서 출력 형식, 필수 정보, 품질 임계값을 명시하세요.
✅ Quick Check: 선택한 도전의 인지 작업을 목록으로 만들어 보세요. 몇 개의 독립적 단계와 몇 개의 의존적 단계가 있나요?
2단계: 시스템 프롬프트 설계 (레슨 2)
각 단계를 위한 시스템 프롬프트를 5계층으로 설계하세요:
- 계층 1 — 정체성: 이 단계에 필요한 “전문가” 페르소나
- 계층 2 — 추론 프레임워크: 이 단계가 문제에 접근하는 방식
- 계층 3 — 행동 가이드라인: 소통과 판단의 원칙
- 계층 4 — 제약: 일반적 실패 모드를 방지하는 가드레일
- 계층 5 — 출력 구조: 인터페이스 계약에 따른 출력 형식
3단계: 자기 수정 통합 (레슨 4)
모든 단계에 자기 수정이 필요한 건 아니에요. 다음 단계에 추가하세요:
- 오류가 연쇄될 수 있는 단계 (체인 초반)
- 판단이나 평가가 포함된 단계 (편향 가능성)
- 최종 출력을 생산하는 단계 (품질이 중요)
각 검증 포인트에 적합한 패턴 선택:
- 생성 후 검증 — 분석적 단계에
- 악마의 변호인 — 평가적 단계에
- 신뢰도 보정 — 주장을 생산하는 모든 단계에
- 다중 패스 개선 — 최종 출력에
4단계: 메타 프롬프팅 개선 (레슨 5)
테스트 전에 메타 프롬프팅으로 설계를 개선하세요:
이 시스템 프롬프트를 검토해줘: [단계별 시스템 프롬프트]
프롬프트 엔지니어링 전문가로서 식별해줘:
- 더 구체적이어야 할 모호한 지시
- 실패 모드를 유발할 수 있는 누락된 제약
- 노이즈를 더하는 중복 지시
- 추론 프레임워크 추가 기회
수정된 최적화 버전을 제공해줘.
5단계: 평가 프레임워크 (레슨 7)
시스템 성능을 측정하는 방법을 설계하세요.
루브릭 구축: 선택한 문제에 적합한 4-6개 차원. 각 차원에 5/3/1 설명.
벤치마크 설계: 8-12개 테스트 케이스:
- 표준 시나리오 4-5개
- 엣지 케이스 2-3개
- 적대적 입력 1-2개
- 이전 문제 시나리오 1-2개
6단계: 테스트와 반복
시스템을 실행하고 결과를 점검하세요.
- 가장 대표적인 벤치마크 케이스 3개를 전체 시스템에 실행
- 각 출력을 루브릭으로 점수화
- 가장 약한 출력을 생산하는 단계 식별
- 진단: 시스템 프롬프트 문제? 추론 체인? 자기 수정 부재?
- 가장 약한 고리를 수정하고 재실행
| 증상 | 원인 | 해결 |
|---|---|---|
| 피상적 분석 | 불충분한 추론 프레임워크 | 시스템 프롬프트의 추론 단계 강화 |
| 일관성 없는 품질 | 체크포인트 부재 | 단계 사이 검증 추가 |
| 단계 간 정보 유실 | 부실한 인터페이스 계약 | 출력 필수 포함 사항 명시 |
| 과신된 결론 | 자기 수정 부재 | 신뢰도 보정과 악마의 변호인 추가 |
| 중요 고려 사항 누락 | 과소 분해 | 해당 단계를 두 개의 집중 단계로 분리 |
코스 리뷰: 추론 아키텍트의 툴킷
| 레슨 | 핵심 기법 | 적용 시점 |
|---|---|---|
| 2. 시스템 프롬프트 | 5계층 설계 | 모든 AI 워크플로에 행동 기반 필요 |
| 3. 추론 체인 | 순차, 분기, 발산-수렴 | 모든 다단계 문제 |
| 4. 자기 수정 | 생성-검증, 악마의 변호인, 보정 | 고위험 또는 복잡한 출력 |
| 5. 메타 프롬프팅 | 프롬프트 부검, 재귀적 개선 | 품질 정체 또는 프롬프트 실패 시 |
| 6. 분해 | 수직 슬라이싱, 수평 레이어링 | “불가능한” 문제를 분해할 때 |
| 7. 평가 | 루브릭, 벤치마크, 회귀 테스트 | 신뢰해야 하는 모든 시스템 |
아키텍트의 원칙
- 설계하기 전에 분해하세요. 문제의 구조를 먼저 이해해요.
- 단계당 하나의 인지 모드. 분석과 평가를 섞지 마세요.
- 구축하기 전에 검증하세요. 단계 사이의 체크포인트가 연쇄 오류를 방지해요.
- 최적화하기 전에 측정하세요. 직감이 아닌 평가 루브릭으로.
- 복잡성을 문제에 맞추세요. 단순한 문제에는 단순한 시스템.
- 완벽이 아닌 안정성을 설계하세요. 일관된 ‘좋음’이 간헐적 ‘훌륭함’보다 나아요.
다음 단계
- 캡스톤 프로젝트 완성. 전체 벤치마크를 실행하고 품질이 임계값을 충족할 때까지 반복하세요.
- 업무에 적용. AI로 하는 가장 복잡한 작업을 추론 아키텍처로 재설계하세요.
- 개인 라이브러리 구축. 최고의 시스템 프롬프트, 체인 설계, 평가 루브릭을 재사용을 위해 저장하세요.
- 스킬 탐색. 시스템 프롬프트 아키텍트와 AI 페르소나 디자이너로 이 기법들을 보완하세요.
- 수료증 받기. 퀴즈를 완료하고 수료증을 받으세요.
핵심 정리
- 추론 아키텍처는 고급 프롬프팅이 아니라 AI를 위한 시스템 설계예요
- 완전한 워크플로: 분해, 설계, 수정, 평가, 반복
- 프로페셔널 AI 아키텍트는 콘텐츠 생성보다 시스템 설계에 더 많은 시간을 투자해요
- 일관된 품질은 직감이 아닌 구조화된 평가에서 나와요
- 이제 여러분은 AI 사용자 **상위 1%**에 드는 툴킷을 보유하고 있어요
이해도 체크
먼저 위의 퀴즈를 완료하세요
레슨 완료!