대화 도중 처음으로 토큰 제한에 걸렸을 때, 무슨 일인지 전혀 몰랐어요.

GPT-4로 코딩 세션 중이었는데, 큰 코드베이스를 리뷰용으로 붙여넣었거든요. 응답이 그냥… 멈췄어요. 문장 중간에 잘려버렸어요. 왜 그런지 전혀 몰랐죠. 토큰이 뭔지도, 제한이 있다는 것도 모르고 있었으니까요.

이 경험이 익숙하다면, 이 도구는 딱 여러분을 위한 거예요.

토큰을 세어보세요

텍스트를 입력하거나 아래에 붙여넣으세요. 토큰 수, 단어 수, 비용 추정이 실시간으로 업데이트돼요.

1텍스트를 입력하거나 붙여넣기

2실시간 문자, 단어, 토큰 통계 확인

3AI 모델별 예상 비용 확인

텍스트를 붙여넣거나 입력하세요

0 문자

0 단어

0 문장

0 예상 토큰

예상 비용

모델	입력	출력

토큰이란?

토큰은 AI 언어 모델이 텍스트를 처리하는 데 사용하는 기본 단위예요. 단어가 아니에요 — 모델의 토크나이저가 여러분의 입력을 분할한 텍스트 조각이에요.

대략적인 규칙: 영어에서 1 토큰은 약 4글자, 대략 0.75 단어예요. 한국어의 경우, 한 글자가 보통 2~3 토큰을 차지해서 영어보다 훨씬 많은 토큰이 필요해요.

텍스트	토큰	이유
“Hello”	1	흔한 단어 = 1토큰
“indescribable”	4	긴/희귀한 단어 = 여러 토큰
“ChatGPT”	2	브랜드명은 분할됨
“안녕하세요”	4	비라틴 문자는 더 많은 토큰 사용
`{"key": "value"}`	7	코드/JSON은 구조적 토큰이 있음

토크나이저는 훈련 중에 배운 방식으로 텍스트를 분할해요. 흔한 영어 단어는 보통 단일 토큰이에요. 희귀한 단어, 코드, 비영어 텍스트는 일반적으로 단어당 더 많은 토큰이 필요해요.

토큰 수가 왜 중요할까?

1. 컨텍스트 윈도우 제한

모든 AI 모델에는 최대 컨텍스트 윈도우가 있어요 — 하나의 대화에서 처리할 수 있는 총 토큰 수(입력 + 출력 합계):

모델	컨텍스트 윈도우
GPT-4o	128K 토큰
GPT-4o mini	128K 토큰
o3-mini	200K 토큰
Claude Sonnet 4	200K 토큰
Claude Haiku 3.5	200K 토큰
Gemini 2.0 Flash	1M 토큰
Copilot (GPT-4o)	128K 토큰
Mistral Large	128K 토큰
DeepSeek V3	64K 토큰

프롬프트가 제한을 초과하면, 응답이 잘리거나 에러가 발생해요.

2. API 비용 관리

AI API를 사용하는 경우(채팅 인터페이스만이 아니라), 토큰당 요금이 부과돼요. 입력과 출력의 비용이 크게 달라요:

모델	입력 (100만당)	출력 (100만당)
GPT-4o	₩3,628	₩14,510
GPT-4o mini	₩218	₩871
o3-mini	₩1,596	₩6,384
Claude Sonnet 4	₩4,353	₩21,765
Claude Haiku 3.5	₩1,451	₩7,255
Gemini 2.0 Flash	₩145	₩580
Copilot (GPT-4o)	₩3,628	₩14,510
Mistral Large	₩2,902	₩8,706
DeepSeek V3	₩406	₩609

1,000 토큰 프롬프트를 GPT-4o에 보내면 입력 비용이 약 ₩3.6이에요. DeepSeek V3가 가장 저렴해서 1,000 토큰당 입력 약 ₩0.41이에요. 응답은 항상 프롬프트보다 비싸요.

3. 프롬프트 최적화

토큰 수를 알면:

시스템 프롬프트에서 불필요한 부분을 줄여 비용 절감
API 호출 전에 응답 예산 추정
큰 문서를 붙여넣을 때 제한 내 유지
다른 프롬프트 접근 방식 간 효율성 비교

토큰 추정 방식

이 도구는 글자 수 ÷ 4 휴리스틱을 사용해요. 영어 텍스트의 표준 근사값이에요. 일반적인 콘텐츠에서 약 10% 정확도예요.

정확한 수치를 위해서는 모델별 토크나이저(OpenAI의 tiktoken, Anthropic의 토크나이저 등)가 필요해요. 각 모델의 토큰화 방식이 약간 다르거든요. 하지만 추정과 비용 계획에는 ÷4 규칙이 잘 작동해요.

추정이 덜 정확한 경우:

코드와 JSON (예상보다 많은 토큰)
비영어 텍스트 (상당히 더 많은 토큰)
숫자나 특수 문자가 많은 텍스트
매우 짧은 프롬프트 (반올림 영향이 큼)

토큰 관리 실전 팁

ChatGPT/Claude/Copilot 사용자 (채팅 인터페이스):

구독 플랜에서는 토큰당 요금을 내지 않지만, 컨텍스트 제한은 여전히 적용
긴 대화는 토큰이 누적됨 — 느려지면 새 대화를 시작
문서 전체가 아니라 가장 관련 있는 컨텍스트만 붙여넣기

API 사용자:

응답에 max_tokens를 설정해서 출력 비용 관리
단순한 작업에는 저렴한 모델(GPT-4o mini, Haiku) 사용
가능하면 시스템 프롬프트 캐싱
응답 스트리밍으로 출력이 유용하지 않으면 일찍 중지

프롬프트 엔지니어:

짧은 프롬프트가 항상 저렴한 건 아님 — 좋은 시스템 프롬프트는 재시도 비용을 절약
mini/flash 모델로 먼저 테스트, 필요할 때만 업그레이드
배치 작업 실행 전에 위의 비용표로 추정

자주 묻는 질문

토큰 수가 정확한가요? 표준 글자÷4 휴리스틱 기반의 추정치예요. 정확한 수치를 위해서는 모델별 토크나이저가 필요해요. 영어 텍스트의 경우 보통 10% 이내의 정확도예요.

왜 모델마다 가격이 다른가요? 파라미터가 더 많은 큰 모델은 운영 비용이 더 높아요. 가격은 컴퓨팅 요구 사항을 반영해요. mini/flash 모델은 크기가 작고 빨라서 더 저렴해요.

입력 토큰과 출력 토큰의 차이는? 입력 토큰은 여러분이 보내는 것(프롬프트). 출력 토큰은 AI가 생성하는 것(응답). 출력 토큰은 보통 3~5배 비쌉니다. 생성이 읽기보다 연산량이 많기 때문이에요.

비영어 텍스트에도 작동하나요? 도구는 글자 수를 세고 토큰을 추정해요. 비영어 텍스트의 경우, 비라틴 문자는 보통 글자당 2~3 토큰을 사용하므로 실제 토큰 수가 추정치보다 높아요.

텍스트가 저장되나요? 아니요. 모든 것이 브라우저의 클라이언트 사이드에서 실행돼요. 어떤 텍스트도 서버로 전송되지 않아요.

AI 토큰 카운터: ChatGPT, Claude, Gemini, Copilot, Mistral 무료 토큰 계산기