테스팅, 모니터링, 자동화 개선

완벽하게 작동했던 자동화 (작동 안 할 때까지)

🔄 Quick Recall: 이전 레슨에서 에러 처리와 엣지 케이스 대응을 배웠어요. 이번에는 자동화를 제대로 테스트하고, 배포 후 모니터링하고, 장기적으로 최적화하는 법을 배워요.

실제 사례: 데이터 소스 API 포맷이 변경됐는데 자동화가 에러 없이 30%의 레코드를 조용히 누락시킨 채 2주간 실행됐어요. 모니터링이 있었다면 첫날에 발견했을 거예요.

배포 전 테스팅

레벨 1: 단계 테스트 (각 단계 개별)

• 정상 인풋으로 테스트
• 누락 필드로 테스트
• 중복 데이터로 테스트
• API 불가 시 테스트
• 특수 문자로 테스트

레벨 2: 플로우 테스트 (전체 워크플로우)

• 정상 경로 (해피 패스)
• 에러 경로
• 엣지 케이스 경로
• 볼륨 테스트 (대량)

레벨 3: 통합 테스트 (실제 시스템)

• 인증 확인
• 데이터 포맷 호환
• 요청 제한 확인
• 권한 확인
• 타이밍 확인

대표 테스트 데이터 만들기:

✅ Quick Check: 모든 조건 브랜치에 대한 테스트 케이스를 만들었나요? 테스트되지 않은 경로는 깨진 경로예요.

단계적 배포

배포 후 모니터링

대시보드 메트릭:

알림 규칙:

최적화

속도:

• 독립 단계를 병렬화
• API 호출을 배치 처리
• 룩업 캐시
• 오프피크 시간에 스케줄링

안정성:

• 유효성 검사 추가
• 재시도 로직 개선
• 서킷 브레이커 패턴
• 폴백 경로

유지보수:

• 문서화
• 모듈화
• 버전 관리
• 런북 작성

자동화 런북

운영 매뉴얼을 만들어두세요:

1. 개요 — 1-2 문장 설명, 실행 시기, 연결 시스템
2. 흔한 이슈와 해결 — 3가지 이상
3. 일시정지/재시작 절차 — 단계별
4. 에스컬레이션 — 누구에게, 언제
5. 유지보수 일정 — 정기 체크 항목

✅ Quick Check: 기존 자동화를 마지막으로 리뷰한 게 언제예요? 1개월 이상이면 리뷰할 시간이에요.

지속적 개선 사이클

핵심 정리

• 세 가지 레벨에서 테스트: 단계별, 플로우, 통합
• 대표적 데이터를 사용 (완벽한 샘플 아닌)
• 단계적 배포: 섀도우 → 제한 → 확장 → 전체
• 성공률, 실행 시간, 에러 유형, 처리량 모니터링
• 즉시 알림, 일간 다이제스트, 주간 리뷰 설정
• 런북 작성으로 운영 매뉴얼화
• 정기 리뷰 스케줄: 월간, 분기, 연간

Up Next: 다음 레슨 — 캡스톤. 세 가지 완전한 자동화 포트폴리오를 구축해요.