주장과 증거 평가하기

수백만 달러가 든 주장

한 스타트업이 한 방울의 혈액으로 수백 가지 검사를 할 수 있는 혈액 검사 장비를 주장했어요. 투자자들이 수십억 달러를 쏟아 부었어요. 기자들은 호의적 기사를 썼어요. 규제 기관은 승인을 내렸어요. 거의 아무도 비판적 질문을 하지 않았어요: “이게 실제로 작동한다는 증거가 있나요?”

그 장비는 작동하지 않았어요. 회사는 테라노스였어요. 증거는, 누군가 요청했다면, 수 년 전에 사기를 드러냈을 거예요.

이 수업을 마칠 땐, 상품 약속부터 과학 발견까지, 모든 주장을 평가하는 체계적 방법을 갖추게 돼요.

🔄 빠른 상기: 이전 수업에서 비판적 사고를 배울 수 있는 기술 모음으로 정의했고, AI를 사고 파트너로 식별했어요. 비판적 사고 도구상자의 여섯 가지 도구를 말할 수 있어요? 오늘은 첫 번째 도구인 주장 평가를 날카롭게 해요.

주장 평가 틀

모든 주장은 네 가지 질문으로 평가할 수 있어요:

질문 1: 정확히 뭐가 주장되고 있나요?

증거를 평가하기 전에, 주장을 정확히 이해하는 게 중요해요. 막연한 주장은 평가 불가능해요.

막연함: “우리 상품이 생산성을 높여요.” 명확함: “우리 프로젝트 관리 도구가 200개 팀의 상태 회의 시간을 6개월에 30% 줄여요.”

평가하고 싶은 주장이 있어:
[주장 붙여넣기]

이 주장을 명확하게 다시 말해줄래:
1. 정확히 뭐가 주장되고 있어?
2. 어떤 측정 가능한 결과가 암시되어 있어?
3. 범위가 뭐야 (누가, 언제, 어디서)?
4. 이 주장이 타당하려면 뭐가 참이어야 해?

질문 2: 어떤 증거가 제시되고 있나요?

모든 증거가 동등한 건 아니에요. 다음은 증거 위계예요:

대부분의 설득력 있는 주장은 수준 5~7 증거에 의존해요. “연구에 따르면…“이지만 인용 없으면 수준 7이에요. “내 친구가 시도했고…“는 수준 6이에요.

✅ 빠른 점검: 보충제 브랜드가 “의사들이 우리 상품을 추천해요"라고 말해요. 이게 증거 위계에서 어디에 있을까요? 추가로 어떤 정보가 필요해요?

질문 3: 주장과 증거 사이에 간격이 있나요?

잘못된 주장의 가장 흔한 트릭은 증거가 보여주는 것과 주장되는 것 사이의 간격이에요.

증거: “우리 앱을 사용한 사람들은 더 생산적이라고 느껴요.” 주장: “우리 앱이 당신을 더 생산적으로 만들어요.”

간격: 생산성의 자기보고는 측정된 생산성과 다르다는 거예요. 생산적인 느낌과 생산적인 것은 다른 거죠.

조심할 흔한 간격들:

• 상관관계 대 인과관계: 증거는 패턴을 보여줘요, 하지만 주장은 원인을 암시해요
• 상대 수치 대 절대 수치: “50% 개선"은 2%에서 3%로 가는 걸 의미할 수 있어요
• 선택된 결과: 연구가 20가지를 측정했는데, 긍정적 결과만 언급돼요
• 표본 대 모집단: 대학생 결과가 일반인에게 적용 안 될 수도 있어요

질문 4: 누가 이득을 봐요?

인센티브를 따라가봐요. 이 주장을 당신이 믿도록 누가 이득을 봐요?

• 제약회사가 자신의 약이 효과 있다고 주장해요
• 정치인이 경제가 좋아지고 (또는 나빠지고) 있다고 주장해요
• 컨설턴트가 회사가 자신의 서비스가 필요하다고 주장해요
• 뉴스 기관이 세상이 이전보다 더 위험하다고 주장해요

인센티브가 주장을 자동으로 거짓으로 만들지는 않아요. 하지만 더 강한 증거를 요구해야 한다는 뜻이에요.

✅ 빠른 점검: 설탕 회사가 지원한 연구가 설탕이 비만에 영향을 미치지 않는다고 발견했어요. 자금 출처가 당신의 평가를 어떻게 바꿔요? 이게 발견이 틀렸다는 걸 증명할까요?

5분 주장 점검

일상 주장을 빠르게 평가할 때, 이 방법이 대부분의 문제를 잡아내요:

이 주장을 빨리 평가하고 싶어:
[주장 붙여넣기]

5분 주장 점검을 실행해줄래:
1. 명확한 주장: 정확히 뭐가 주장되는지 다시 말해줄래
2. 증거 수준: 어떤 증거가 제시되어 있어?
   (메타분석? RCT? 일화? 없음?)
3. 주장-증거 간격: 증거가 이 주장을 정말로 뒷받침해?
4. 대안적 설명: 이 결과를 다르게 설명할 방법이 있어?
5. 인센티브: 이 주장이 믿어지면 누가 이득을 봐?
6. 평결: 1~10 척도에서 이 주장이 얼마나 잘 뒷받침되어 있어?

실제 주장으로 연습하기

흔한 주장 종류들에 이 틀을 적용해봐요:

건강 주장: “이 슈퍼푸드가 면역 체계를 강화해요.”

• 증거 수준? 보통 추천사나 선정된 연구예요 (수준 5~6)
• 간격? “면역 체계를 강화해요"는 막연하고 측정 불가능해요
• 인센티브? 슈퍼푸드를 파는 회사예요

비즈니스 주장: “우리 소프트웨어를 쓰는 회사가 3배 빠르게 성장해요.”

• 증거 수준? 아마 관찰 상관관계예요 (수준 3~4)
• 간격? 선택 편향이 있어요. 더 빨리 성장하는 회사가 더 많은 도구를 채용할 수도 있어요
• 인센티브? 소프트웨어 회사 수익이 이 신념에 달려 있어요

뉴스 주장: “범죄가 사상 최고치예요.”

• 증거 수준? 인용된 데이터에 달려 있어요
• 간격? “사상 최고치"가 어느 카테고리에서? 어디서? 어떤 측정?
• 인센티브? 공포 기반 주장이 참여도와 클릭을 몰아요

당신이 해봐요

오늘의 뉴스, 소셜 미디어, 상품 광고에서 주장을 찾아봐요. 전체 평가 틀을 써서 실행해봐요:

이 실제 주장을 평가해줄래:
[출처와 함께 주장 붙여넣기]

완전한 평가를 해줄래:
1. 정확히 뭐가 주장되고 있어?
2. 어떤 증거가 제시되고 있어 (그리고 수준은)?
3. 증거와 주장 사이에 간격이 있어?
4. 대안적 설명이 있어?
5. 누가 이 주장에서 이득을 봐?
6. 받아들이거나 거부하려면 추가 증거가 뭐가 필요해?
7. 신뢰도 수준과 함께 전체 평결

다양한 주장 세 개로 이걸 연습해봐요. 자동 평가 습관을 빨리 만들어요.

핵심 요점

• 모든 주장은 네 가지 질문으로 평가할 수 있어요: 뭐가 주장되는가? 증거가 뭔가? 간격이 있는가? 누가 이득을 봐요?
• 증거는 메타분석 (강함)부터 근거 없는 주장 (약함)까지 위계가 있어요
• 가장 흔한 사기는 증거가 보여주는 것과 주장되는 것 사이의 간격이에요
• 상관관계는 인과관계와 다르다는 거. 항상 메커니즘을 묻거나, 단순 패턴인지 물어봐요
• 인센티브가 주장을 자동으로 거짓으로 만들지는 않지만, 증거 요구를 높여야 해요
• 5분 주장 점검이 대부분의 문제 주장을 빨리 잡아내요

다음은?

3수업: 사고를 왜곡하는 인지 편향에서 똑똑한 사람도 예측 가능한 나쁜 판단을 하게 만드는 정신적 지름길들을 탐색해봐요. 그리고 어떻게 스스로를 잡을 수 있을까요.