A/B 테스팅

데이터가 의견을 이겨요

🔄 이전 레슨 복습: 이전 레슨에서 링크드인, X, 인스타그램 등 다양한 소셜 플랫폼에 맞게 카피를 적응시켰어요. 이제 어떤 카피가 실제로 가장 좋은 성과를 내는지 테스트하는 법을 배워요. 최종 투표는 항상 오디언스가 해요.

내가 쓴 헤드라인이 좋다고 생각해요. 동료는 다른 것을 선호해요. 상사는 또 다른 것을 원해요.

누가 맞을까요? 아무도 아니에요. 오디언스가 결정해요. A/B 테스팅이 그 결정을 맡기는 방법이에요.

이 레슨을 마치면, A/B 테스트를 설계하고, 실행하고, 해석해서 카피 성과를 체계적으로 개선할 수 있어요.

A/B 테스팅이란?

A/B 테스팅(스플릿 테스팅)은 카피의 두 버전을 비슷한 오디언스에게 보여주고 어떤 버전이 더 나은 성과를 내는지 측정하는 것이에요.

버전 A: 현재 카피 (“컨트롤”) 버전 B: 하나의 변경이 있는 변형 (“챌린저”)

트래픽이 두 버전 사이에 무작위로 나뉘어요. 충분한 데이터가 쌓이면 결과를 비교해요.

B가 이기면: B가 새로운 컨트롤이 돼요. 이제 새 변형을 테스트하세요. A가 이기면: 다음 테스트에서 다른 접근을 시도하세요.

무엇을 테스트할까 (우선순위)

모든 테스트가 같은 가치는 아니에요. 가장 레버리지 높은 요소부터 테스트하세요:

1단계: 최고 영향

헤드라인 — 첫인상 경험을 바꿔요
가치 제안 — 방문자가 뭘 얻을지에 대한 인식을 바꿔요
핵심 오퍼 — 근본적인 교환을 바꿔요 (가격, 체험 기간 등)
CTA 텍스트 — 전환의 순간을 바꿔요

2단계: 상당한 영향

사회적 증거 — 유형, 배치, 구체성
이메일 제목 — 오픈율을 결정
페이지 구조 — 섹션 순서, 콘텐츠 길이
이미지/비주얼 — 보조 이미지

3단계: 점진적 영향

CTA 버튼 색상/크기 — 시각적 돋보임
후기 선택 — 어떤 인용문을 쓸지
마이크로 카피 — 폼 라벨, 에러 메시지, 도움말
폰트와 포맷 — 가독성 개선

생각해보기: 왜 버튼 색상보다 헤드라인을 테스트하는 것이 더 큰 영향을 만들까요?

1단계부터 시작하세요. 헤드라인 20% 개선은 모든 후속 요소에 영향을 줘요. 버튼 색상 2% 개선은 클릭 순간에만 영향을 줘요.

테스트 실행 방법

1단계: 가설 수립

템플릿: “[요소]를 [현재]에서 [변형]으로 바꾸면, [지표]가 개선될 것이다. 왜냐하면 [근거].”

예시: “헤드라인을 ‘프로젝트 관리 소프트웨어’에서 ‘프로젝트를 2배 빠르게 마무리하세요’로 바꾸면, 가입이 증가할 것이다. 혜택이 카테고리 설명보다 더 매력적이기 때문이다.”

2단계: 변형 만들기

하나의 요소만 변경. 나머지는 전부 동일하게.

헤드라인 테스트? 같은 페이지, 같은 CTA, 같은 이미지. 헤드라인만 다르게.

CTA 테스트? 같은 헤드라인, 같은 본문, 같은 페이지. CTA 버튼 텍스트만 다르게.

3단계: 트래픽 분배

대부분의 테스팅 도구(Google Optimize, Optimizely, VWO, 이메일 플랫폼의 스플릿 테스트)가 자동으로 처리해요. 트래픽이 버전 간에 무작위로 나뉘어요.

요구사항:

무작위 배정 (오전에 A, 오후에 B가 아니라)
동일한 비율 (50/50이 표준)
같은 기간 (월요일과 일요일을 비교하지 않기)

한국에서는 스티비(Stibee), 채널톡, 카카오 비즈보드 같은 플랫폼에서 A/B 테스팅 기능을 제공해요.

4단계: 유의성 대기

여기서 대부분 실패해요. 24시간 후 결과를 보고 승자를 선언하죠.

통계적 유의성은 A와 B의 차이가 우연 때문이 아닐 가능성이 높다는 뜻이에요.

경험법칙:

최소 1-2주간 테스트 실행 (요일별 변동 포착)
변형당 최소 100건의 전환 필요 (작은 차이에는 더 많이)
유의성 계산기 사용 (대부분의 도구에 내장)
95% 신뢰도가 표준 기준

5단계: 분석하고 기록

테스팅 로그에 기록:

테스트	날짜	요소	컨트롤	변형	결과	유의성	학습
#14	2026년 2월	헤드라인	“프로젝트 관리”	“프로젝트를 2배 빠르게”	가입 +23%	97%	혜택 중심 헤드라인이 카테고리 레이블보다 나아요

흔한 테스팅 실수

한 번에 너무 많은 것을 테스트. 헤드라인, CTA, 히어로 이미지를 바꿨어요. 전환이 15% 올라갔어요. 뭐가 원인이었는지? 영원히 모를 거예요.

테스트를 너무 일찍 종료. 50명 방문 후 B가 40% 앞서요. 승리를 선언해요. 다음 주에 500명이면 통계적으로 동점이에요. 유의성을 기다리세요.

사소한 변경을 테스트. “시작하기"와 “지금 시작하기"의 차이는 테스트할 가치가 거의 없어요. 의미 있는 변형에 집중하세요.

결과를 문서화하지 않음. 3개월 후에 아무도 기억 못 해서 같은 실패 테스트를 다시 실행해요.

세그먼트를 무시. A가 전체적으로 이길 수 있지만 가장 가치 있는 세그먼트에서는 질 수 있어요. 가능하면 오디언스별로 결과를 봐요.

채널별 테스트 대상

랜딩페이지

요소	컨트롤 예시	변형 예시
헤드라인	특성 중심	혜택 중심
CTA	“가입하기”	“내 무료 체험 시작하기”
사회적 증거	고객 로고	구체적 후기
페이지 길이	장문	단문
히어로 이미지	제품 스크린샷	사용 중인 모습

이메일

요소	컨트롤 예시	변형 예시
제목	설명적	호기심 유발
발신자 이름	회사명	개인 이름
첫 문장	형식적 인사	바로 가치로
CTA	텍스트 링크	버튼
발송 시간	화요일 오전 10시	목요일 오후 2시

소셜미디어

요소	컨트롤 예시	변형 예시
훅	질문	대담한 주장
형식	텍스트만	텍스트 + 이미지
CTA	“링크 확인”	“이 포스트 저장하세요”
길이	짧게 (2줄)	길게 (스토리텔링)
해시태그 수	5개	15개

테스팅 문화 만들기

최고의 카피라이터는 지속적으로 테스트해요. 습관을 만드세요:

항상 테스트 중이어야 해요. 항상 하나의 테스트가 실행 중이어야 해요.
큰 스윙부터 시작. 작은 수정이 아니라 근본적으로 다른 접근을 테스트하세요.
데이터가 이기게 하세요. 감과 데이터가 충돌하면 데이터를 믿으세요.
결과를 공유하세요. 테스팅 인사이트는 팀 전체에 도움이 돼요.
개선을 복리로 쌓으세요. 월 10% 개선은 연 3배 개선이에요.

직접 해보기

카피에 대한 A/B 테스트를 설계하세요:

요소를 선택하세요 (헤드라인, CTA, 제목)
가설을 쓰세요
컨트롤과 변형을 쓰세요
측정할 지표를 정의하세요
테스트를 얼마나 실행할지 결정하세요

핵심 정리

A/B 테스팅은 오디언스가 어떤 카피가 효과적인지 결정하게 해요 — 의견이 아니라
테스트당 하나의 요소만 변경해서 개선의 원인을 격리하세요
가장 영향력 큰 요소부터 테스트: 헤드라인, 가치 제안, 오퍼, CTA
승자를 선언하기 전에 통계적 유의성을 기다리세요 (최소 1-2주)
모든 테스트를 로그에 기록해서 조직적 지식을 쌓으세요
지속적 테스팅은 복리로 작동해요: 작은 개선들이 혁신적 결과로 이어져요

다음 레슨: 캡스톤: 완전한 카피 캠페인 — 헤드라인부터 랜딩페이지, 이메일 시퀀스까지 모든 것을 하나로 묶어 실제(또는 가상) 제품의 완전한 카피 캠페인을 만들어요.