평가(eval)는 AI 출력을 루브릭으로 채점하는 반복 가능한 테스트예요. 5~8줄로 "좋다"를 정의하고, 신경 쓰는 입력 20~50개를 고정 세트로 모으고("골든 데이터셋"), 각 입력에 AI를 돌리고, 출력을 루브릭으로 채점해요. 매주 한 번씩 돌리면 AI가 좋아지는지, 나빠지는지, 드리프트하는지 보여요. 한국 매체에선 "LLM 평가"로 가장 많이 부르고, 셀렉트스타·KT 같은 곳은 자사 솔루션 이름에 "이밸"을 의도적으로 음역해 쓰지만, 본문에선 그냥 "평가" 또는 "평가 셋"으로 풀어 쓰는 게 자연스러워요.

어디서 듣게 되나: Anthropic의 Outcomes (5월 6일, 추론 시점 루브릭 채점). OpenAI의 Evals 플랫폼과 PromptFoo(OpenAI가 3월에 인수, 여전히 MIT 라이선스). Braintrust는 2월에 800M 밸류에 시리즈 B 80M을 받은 평가 우선 옵저버빌리티 플랫폼이고요. Inspect AI는 UK 정부의 오픈소스 평가 프레임워크로 Anthropic과 DeepMind가 프런티어 안전성 평가에 쓰고 있어요. 한국에선 셀렉트스타 Datumo Eval (다투모 이밸), Open Ko-LLM 리더보드, Horangi 호랑이 프레임워크가 한국어 평가 셋이 필요할 때 좋은 출발점이고요. 그리고 매주 회의에서 누군가 "AI가 예전엔 이걸 잘했는데 지금은 못하네" 하는 순간이 있죠. 사실 그 말의 뜻은 우리 팀엔 평가가 없어서 너무 늦게 알아챈다는 거예요.

평소 한 주에 가장 자주 다시 돌리는 AI 작업 하나 고르세요. 주간 고객 위클리, 후보자 거절 메일, 미팅 준비 브리프, 콜드 메일 리라이팅 같은 거요. 빈 문서를 열고 그 작업용 5줄짜리 루브릭을 쓰세요. 각 줄은 예/아니요 기준이에요: 출력이 고객의 구체적인 요청을 명시했는가? 예/아니요. 데이터 포인트 하나 이상을 인용했는가? 예/아니요. 마무리 질문이 구체적인가 (단순한 "어떠세요?"가 아니라)? 예/아니요. 톤이 고객의 마지막 메일과 한 레지스터 안에서 일치하는가? 예/아니요. 분량이 180자 안인가? 예/아니요. 각 줄이 누가 채점해도 같은 답이 나올 만큼 구체적이어야 해요. 이제 한 주 동안, 그 작업을 돌릴 때마다 AI 출력 아래에 루브릭을 붙여놓고 예/아니요로 점수만 매기세요. 프롬프트는 바꾸지 마세요. 로그를 쌓는 거예요. 금요일이면 두 패턴 중 하나가 보여요. 같은 줄이 매번 떨어지거나 (프롬프트에 고칠 수 있는 구멍이 있음), 다른 줄들이 무작위로 떨어지거나 (골든 데이터셋이 너무 작아서 예제 세 개를 더 넣어야 함). 어느 쪽이든 다음에 뭐 해야 할지가 정확히 보여요.

왜 효과가 있나: 한 방 쓰기 AI의 근본 실패는 나쁜 프롬프트가 아니에요. 보이지 않는 나쁜 프롬프트예요. 이번 주 출력이 틀렸다는 건 알겠는데 어느 부분이 틀렸는지 말로 못 짚는 거죠. 다섯 줄의 구체적인 예/아니요 기준이 실패에 이름을 붙여줘요. 이름이 붙으면, 세 번 다시 쓰는 대신 한 번의 편집으로 프롬프트를 고칠 수 있고요. 이게 정확히 Anthropic Outcomes 기능이 추론 시점에 적용하는 트릭이에요. 루브릭이 모델의 자유도를 좁혀주거든요. 본인은 한 작업에 수동으로 적용하는 거고요. 스킬이 누적돼요. 두 번째 루브릭을 쓸 때는 첫 번째의 절반 시간이면 끝나요. 한국어 작업에 자주 쓰는 조합이라면, ChatGPT 한국어 출력을 Claude 비평가가 채점하게 분리하는 것도 무난해요. 한국어 글쓰기는 ChatGPT, 비평·검토는 Claude가 강한 편이라는 게 한국 사용자들 사이의 일반론이거든요.

직접 해봤거나 가까이서 본 직군 하나 고르세요. 세무사, 노무사, 회계사, 1인 마케터, 프리랜서 카피라이터, 부동산 중개사, 보험설계사, 학원 원장, 주니어 PM, 재무 컨설턴트 같은 곳이요. PDF 한 장이나 Notion 페이지를 만들어요, "[직군]을 위한 루브릭 키트 — 보내기 전에 AI를 채점하세요" 같은 제목으로요. 안에 네 가지를 넣어요. (1) 그 직군에서 반복되는 AI 산출물 8개 각각에 대한 루브릭 (세무사의 종소세 안내 메일, 노무사의 채용 거절 회신, 부동산 중개사의 매물 설명 등). 각 루브릭은 5~8줄의 예/아니요 기준, 구체적이지 일반적이지 않게 ("마감일을 명시했다"가 "명확하다"보다 좋아요). (2) 각 루브릭마다 워크드 예제 두 개, 통과한 거 하나와 떨어진 거 하나로요. 떨어진 줄을 정확히 표시하고요. (3) 그 직군 한정으로 "LLM-as-judge 쓸 자리 vs 사람이 채점해야 할 자리" 1페이지짜리 가이드도 필요해요. 노무 작업이 사람 판단을 요구하는 줄이 마케팅 카피랑은 다르거든요. (4) 같은 루브릭을 매주 Google Docs, Notion DB, 또는 무료 PromptFoo 설정으로 돌리는 짧은 셋업 스크립트. 한국이라면 크몽이나 인프런에 49,000원~99,000원으로 풀어보세요. 디지털 상품 가격대가 3만 원대와 5~9만 원대로 명확하게 갈리는데, 루브릭 키트는 후자가 자연스럽게 맞아요. 글로벌이라면 Gumroad나 Lemon Squeezy에 $39~$79. 포지셔닝은 간단하게요. "더 똑똑한 AI가 필요한 게 아니에요. 지금 쓰는 AI가 보낼 만한지 알 방법이 필요해요."

왜 효과가 있나: 시장이 프롬프트 팩으로 넘쳐나고 매달 더 싸지고 있어요. 대부분 같은 Claude/ChatGPT 프롬프트가 다시 포장된 거고요. 루브릭은 시장 포지션에서 프롬프트의 정반대예요. 프롬프트를 이미 다 시도해봤는데도 출력이 어딘가 어색할 때 손에 쥐는 게 루브릭이거든요. 비개발자용으로 이걸 제품화한 사람이 거의 없어요. 구매자가 본인한테 돈을 내는 이유는, 그 직군의 일에서 "좋다"가 뭔지를 직군 특화로 알아낸 작업이라서예요. Section 03 스킬 스택을 패키징한 거죠. 현실 매출은 청중 없을 때 월 50~300만 원(크몽 단독), 본인 직군 네트워크가 있을 때 월 200~600만 원, 세무사·노무사처럼 자격증 직군에 본인 네트워크까지 있으면 월 500만 위로도 됩니다. 수수료는 크몽 17~20%, 클래스101·탈잉은 30~50%까지니까 실수령 기준으로 가격 책정하세요. 타이밍 윈도우는 2~3개월이에요. 2024년 프롬프트 팩이 그랬듯 이것도 곧 흔해질 카테고리거든요.

Braintrust

평가 하니스를 직접 호스팅하기 싫은 팀을 위한 매니지드 옵션이에요. Braintrust는 2월에 800M 밸류로 시리즈 B 80M을 받았어요. ICONIQ 주도에 a16z·Greylock·Elad Gil이 참여했고요. 고객사에 Notion, Replit, Cloudflare, Ramp, Vercel, BILL이 들어있으니 이미 누가 프로덕션에 굴리는지 보여요. 이번 호 스택에 넣은 이유는, Braintrust가 평가에 대해 Datadog이 서버 메트릭에 했던 걸 해주거든요. 에이전트 콜에 계기를 달고, 루브릭을 보내고, 어느 프롬프트가 언제 회귀했는지 알려주는 대시보드를 받아요. 무료 티어로 첫 주간 평가를 충분히 돌릴 수 있어요. 트레이스 뷰가 일하는 방식에 맞는지 화요일 오후 한 번 들여다볼 만해요.

PromptFoo

이 일에 새 머신을 잡으면 가장 먼저 까는 도구예요. PromptFoo는 YAML 설정 CLI인데, 프롬프트와 테스트 케이스를 설정 파일에 적고, `promptfoo eval`을 돌리면 GPT, Claude, Gemini, DeepSeek, 그리고 로컬 모델 사이의 side-by-side 비교가 나와요. OpenAI가 2026년 3월에 인수했고 여전히 MIT 라이선스고요. 인용된 사용 범위는 포춘 500의 4분의 1 + OpenAI와 Anthropic 내부 사용. 코드 안 짜는 분도 알아둘 만한 이유가 있어요. 비개발자도 OpenAPI 키 하나로 `promptfoo init`을 돌리면 10분 안에 작동하는 평가를 손에 쥘 수 있거든요. 한국어 가이드도 DEV 한국 커뮤니티의 완벽 가이드 (2026)나 PyTorchKR 디스커션에 잘 정리돼 있어요. 100% 로컬 실행이라 한국 금융·공공 도입 친화고요. 첫 번째 난관은 루브릭이에요 (Section 03의 진짜 스킬). 두 번째 난관은 테스트 셋을 신선하게 유지하기. 그 사이는 PromptFoo가 다 처리해줘요.

셀렉트스타 Datumo Eval (다투모 이밸)

평가가 한국어 + 한국 컴플라이언스가 핵심인 팀에는 PromptFoo보다 우선이에요. 셀렉트스타가 2026년 2월에 풀었고 네이버·삼성·SK텔레콤·KT·LG 포함 287개 기업이 고객이에요. 100만 개 평가 질문을 자동 생성하고, 한 달 걸리던 평가를 하루로 줄여줘요. CES 2026에도 출품했고요. 이번 호 스택에 넣은 이유는 한국어 평가 셋을 자동 생성해주는 차별점이 분명하기 때문이에요. Open Ko-LLM 리더보드와 Horangi 호랑이 프레임워크 같은 한국어 벤치마크 표준과도 같이 쓰기 좋고요. EU/UK 공공 컴플라이언스가 필요하시면 패럴렐로 Inspect AI (UK 정부 백킹, Anthropic·DeepMind 사용)도 챙겨두세요. 한국 사용자 커뮤니티에서 가장 자주 같이 비교되는 건 KT의 자체 평가 도구 라인업이고요. 본사가 한국에 있고 한국어 컴플라이언스 사례가 두꺼운 순서대로 셀렉트스타·KT·Inspect AI예요. ---