AI는 어떻게 작동할까요?

복습: 소통의 차이

1레슨에서 우리는 효과적인 AI 사용과 비효과적인 AI 사용의 차이가 소통이라는 거 봤어요. 근데 왜 소통이 이렇게 중요할까요?

그 답을 찾으려면 AI와 대화할 때 뒷단에서 뭐가 일어나는지 이해해야 해요.

이 레슨이 끝나면 여러분은 이것들을 알게 돼요:

AI가 답변을 만드는 방식 (쉬운 버전)
왜 AI는 자신 있게 틀린 말을 할 수 있는가
‘컨텍스트 윈도우’가 뭔지, 그리고 왜 중요한지

AI의 ‘생각’ 방식 (사실 생각 안 해요)

흔한 오해부터 깨자면: AI는 생각하지 않아요. 이해하지도 않아요. 알지도 않아요. 최소한 인간처럼은요.

ChatGPT, Claude, 또는 다른 대형 언어 모델한테 메시지를 보낼 때 뒷단에서 뭐가 일어나는지 정확히 봐요:

당신의 텍스트를 토큰(대충 단어 조각들)으로 나눠요
AI가 학습 중에 배운 패턴을 바탕으로 가장 가능성 높은 다음 토큰을 예측해요
그 토큰을 생성하고, 다음 토큰을 예측해요
답변이 끝날 때까지 반복해요

이게 전부예요. AI는 “다음에 뭐가 올 가능성이 제일 높을까?” 하는 게임을 엄청나게 정교하게 하고 있는 거죠.

쉬운 비유

당신이 단어 예측 게임을 한다고 생각해 봐요. 누가 “고양이가 의자 위에 앉았어… " 하고 말해요.

당신은 아마 “고양이 위에"라거나 “등 위에” 같은 말이 올 거라고 예측할 거예요. 고양이가 자주 앉는 곳들이니까요.

AI도 똑같이 해요. 단, 책, 웹사이트, 문서에서 수조 개의 예제를 봤거든요. 패턴을 너무 많이 봐서 지금은 엄청나게 부드럽고 일관성 있는 텍스트를 만들 수 있어요. 하지만 여전히 단지 가능성 높은 시퀀스를 예측할 뿐이에요. 진짜로 ‘참’인지 아닌지는 생각하지 않거든요.

왜 이게 중요한가: 자신감의 함정

여기 핵심이 있어요: AI는 ‘가능성 높은’ 것을 만들지, ‘참인’ 것을 만들지 않아요.

“전화기를 누가 발명했어?” 하고 물으면 AI는 “알렉산더 그레이엄 벨"이라고 답할 거예요. 이게 학습 데이터에서 가장 가능성 높은 답변이거든요.

근데 뭔가 잘 알려지지 않은 주제나, 최신 정보를 물으면? AI가 완전히 틀린 내용도 자신 있는 목소리로 줄 수 있어요. 이걸 **할루시네이션(환각)**이라고 부르는데, AI는 거짓말을 하는 게 아니라 그냥 그럴듯한 소리를 내고 있는 거예요.

꼭 알아야 할 것: AI가 자신 있다고 말하는 거 ≠ AI가 맞는 거. 정확한 답변도 자신 있게 주고, 틀린 답변도 자신 있게 주거든요.

빠른 체크

이제 읽기 전에 한 번 생각해 봐요. AI가 자신 있고 자세한 답변을 줬다면, 그 내용이 맞다고 가정해도 괜찮을까요?

(생각해 본 후에 아래 읽어요…)

답: 아니에요. 특히 사실, 통계, 인용구, 또는 실제 영향이 있는 모든 정보는 검증해야 해요. AI의 확신 수준이 정확도와는 아무 상관없거든요.

컨텍스트 윈도우: AI의 작업 기억

모든 AI는 컨텍스트 윈도우를 가지고 있어요. AI가 한 번에 고려할 수 있는 최대 텍스트 양이라고 생각하면 돼요. AI의 작업 기억이라고 봐도 좋아요.

모델	대략적 컨텍스트 윈도우
GPT-4	~128,000 토큰 (~100페이지)
Claude 3.5	~200,000 토큰 (~150페이지)
Gemini 1.5	~1,000,000 토큰 (~700페이지)

당신에게 무슨 의미가 있을까요?

당신의 대화에 있는 모든 게 컨텍스트를 써요. 당신의 프롬프트, AI의 답변, 후속 질문—전부 컨텍스트 공간을 차지해요.
길다고 좋은 게 아니에요. 500단어의 집중된 프롬프트가 2,000단어의 산만한 프롬프트를 이겨요.
중요한 것들을 포함시키세요. 컨텍스트 공간이 제한돼 있으니, 뭘 제공할 건지 의도적으로 선택해야 해요.

실제 사례

문서를 편집하는 걸 도와달라고 AI한테 말한다고 가정해 봐요. 이렇게 할 수도 있어요:

❌ 50페이지짜리 보고서 전체를 붙여 넣고 “좋게 만들어줘"라고 해요

✅ 편집이 필요한 구체적인 부분만 붙여 넣고 정확하게 뭐가 필요한지 설명해요

두 번째 방식이 컨텍스트를 훨씬 효율적으로 써요. 그리고 결과도 훨씬 좋아요.

AI가 잘하는 것 vs 못하는 것

AI가 어떻게 작동하는지 알면, AI가 뭘 잘하고 못하는지가 명확해져요:

AI가 잘하는 것:

다양한 스타일과 형식으로 텍스트 만들기
긴 문서 요약하기
아이디어와 대안 생각해 내기
개념을 여러 방식으로 설명하기
콘텐츠 바꾸기 (다시 쓰기, 번역, 형식 바꾸기)
패턴 따라하기 (당신이 보여주는 방식대로)

AI가 힘들어하는 것:

최신 뉴스와 사건 (학습 데이터에 시간 제한이 있어요)
수학 (숫자를 예측할 뿐이지, 계산하지 않아요)
생소한 주제의 사실들 (환각 위험이 커요)
세기 (진짜 어려워요—한 번 해보세요)
당신의 진짜 의도 알아차리기 (AI는 당신이 쓴 거만 봐요)

프롬프팅에 주는 시사점

AI가 어떻게 작동하는지 이해하면 AI를 어떻게 써야 할지도 달라져요:

명시적으로 말하세요. AI는 마음을 읽지 못해요. 당신이 쓴 것만 봐요.
맥락을 제공하세요. AI가 관련 있는 답변을 만들 수 있게 필요한 정보를 주세요.
중요한 사실은 검증하세요. AI의 정확도를 믿지 마세요. 항상 확인해요.
AI를 ‘창조’가 아니라 ‘변형’에 써요. AI는 당신이 제공하는 내용을 다시 형태를 바꾸는 데 뛰어나요. 정확한 새로운 정보를 만드는 건 안 돼요.
계속 수정해요. 첫 번째 답변이 안 좋으면, 프롬프트를 더 좋게 만들어서 다시 시도하세요. 당신은 예측 엔진을 튜닝하는 거거든요.

핵심 정리

AI는 가능성 높은 다음 단어들을 예측함으로써 답변을 만들어요. 추론하거나 이해하지 않아요
AI는 자신감 있게 틀릴 수 있어요(환각). 중요한 정보는 항상 검증하세요
컨텍스트 윈도우는 AI의 작업 기억이에요. 의도적으로 써야 해요
AI의 강점과 한계를 알면 당신이 올바른 작업에 AI를 쓸 수 있어요

다음 레슨 미리보기

이제 AI가 어떻게 작동하는지 이해했으니, 효과적한 프롬프팅의 기초를 배울 준비가 됐어요. 3레슨에서는 좋은 프롬프트를 나쁜 프롬프트와 구별하는 핵심 기법들을 배워봅시다.