初めて会話の途中でトークン制限に引っかかった時、何が起きたのかまったくわかりませんでした。
GPT-4でコーディングセッション中、大きなコードベースをレビューのために貼り付けたんです。そしたら応答がいきなり…止まった。文の途中でバッサリ切れた。なぜかわからなかった。トークンって何なのか、制限があることすら知らなかったから。
心当たりがある方、このツールはそんなあなたのために作りました。
トークンを数えてみよう
テキストを入力するか、下に貼り付けてください。トークン数、単語数、コスト見積もりがリアルタイムで更新されます。
AIトークンカウンター
推定コスト
| モデル | 入力 | 出力 |
|---|
トークンって何？
トークンは、AI言語モデルがテキストを処理するために使う基本単位です。単語ではありません。モデルのトークナイザーがあなたの入力を分割したテキストの断片です。
大まかな目安：英語では1トークンは約4文字、つまり約0.75単語です。日本語の場合は、1文字が1〜3トークンになることが多く、英語より多くのトークンを消費します。
| テキスト | トークン数 | 理由 |
|---|---|---|
| “Hello” | 1 | よく使う単語 = 1トークン |
| “indescribable” | 4 | 長い/珍しい単語 = 複数トークン |
| “ChatGPT” | 2 | ブランド名は分割される |
| “こんにちは” | 3 | 非ラテン文字はより多くのトークンを使う |
{"key": "value"} | 7 | コード/JSONには構造的トークンがある |
トークナイザーは訓練中に学習した方法でテキストを分割します。一般的な英単語は1トークンになることが多いです。珍しい単語、コード、英語以外のテキストは通常、1単語あたりより多くのトークンが必要です。
トークン数がなぜ重要なのか
1. コンテキストウィンドウの制限
すべてのAIモデルには最大コンテキストウィンドウがあります。1回の会話で処理できるトークンの総数（入力＋出力の合計）です：
| モデル | コンテキストウィンドウ |
|---|---|
| GPT-4o | 128Kトークン |
| GPT-4o mini | 128Kトークン |
| o3-mini | 200Kトークン |
| Claude Sonnet 4 | 200Kトークン |
| Claude Haiku 3.5 | 200Kトークン |
| Gemini 2.0 Flash | 1Mトークン |
| Copilot (GPT-4o) | 128Kトークン |
| Mistral Large | 128Kトークン |
| DeepSeek V3 | 64Kトークン |
プロンプトが制限を超えると、応答が途中で切れたりエラーになります。
2. APIコスト管理
AI APIを使用している場合（チャットインターフェースだけでなく）、トークン単位で課金されます。入力と出力でコストが大きく異なります：
| モデル | 入力（100万あたり） | 出力（100万あたり） |
|---|---|---|
| GPT-4o | ¥388 | ¥1,550 |
| GPT-4o mini | ¥23 | ¥93 |
| o3-mini | ¥171 | ¥682 |
| Claude Sonnet 4 | ¥465 | ¥2,325 |
| Claude Haiku 3.5 | ¥155 | ¥775 |
| Gemini 2.0 Flash | ¥16 | ¥62 |
| Copilot (GPT-4o) | ¥388 | ¥1,550 |
| Mistral Large | ¥310 | ¥930 |
| DeepSeek V3 | ¥43 | ¥65 |
1,000トークンのプロンプトをGPT-4oに送ると、入力で約¥0.39。DeepSeek V3が最安で、1,000トークンあたり入力約¥0.043。応答は常にプロンプトより高くなります。
3. プロンプト最適化
トークン数を把握していると：
- システムプロンプトの無駄を削ることでコスト削減
- APIコール前にレスポンス予算を見積もる
- 大きなドキュメントを貼る時に制限内に収める
- 異なるプロンプトアプローチの効率を比較
トークン見積もりの仕組み
このツールは文字数÷4というヒューリスティックを使用しています。英語テキストの標準的な近似値です。一般的なコンテンツでは約10%の精度です。
正確な数値には、モデル固有のトークナイザー（OpenAIのtiktoken、Anthropicのトークナイザーなど）が必要です。各モデルのトークン化は微妙に異なります。ただし、見積もりとコスト計画には÷4ルールで十分機能します。
見積もりの精度が下がるケース：
- コードとJSON（予想より多くのトークン）
- 英語以外のテキスト（大幅に多くのトークン）
- 数字や特殊文字が多いテキスト
- 非常に短いプロンプト（丸めの影響が大きい）
トークン管理の実践的なコツ
ChatGPT/Claude/Copilotユーザー向け（チャットインターフェース）：
- サブスクリプションプランではトークン単位の課金はないが、コンテキスト制限は依然として適用される
- 長い会話はトークンを蓄積する — 遅くなったら新しい会話を始める
- ドキュメント全体ではなく、最も関連性の高いコンテキストだけを貼り付ける
APIユーザー向け：
- レスポンスに
max_tokensを設定して出力コストを制御する - 単純なタスクにはより安価なモデル（GPT-4o mini、Haiku）を使う
- 可能な限りシステムプロンプトをキャッシュする
- ストリーミングで応答を受け取り、不要なら早めに停止する
プロンプトエンジニア向け：
- 短いプロンプトが常に安いわけではない — 良いシステムプロンプトはリトライのコストを節約する
- まずmini/flashモデルでテスト、必要な時だけアップグレード
- バッチジョブ実行前に上のコスト表で見積もる
よくある質問
トークン数は正確ですか？ 標準的な文字÷4ヒューリスティックに基づく推定値です。正確な数値にはモデル固有のトークナイザーが必要です。英語テキストでは通常10%以内の精度です。
なぜモデルによって価格が違うのですか？ より大きなパラメータを持つモデルは運用コストが高くなります。価格は計算リソースの要件を反映しています。mini/flashモデルはサイズが小さく処理が速いため安価です。
入力トークンと出力トークンの違いは？ 入力トークンはあなたが送るもの（プロンプト）。出力トークンはAIが生成するもの（応答）。出力トークンは通常3〜5倍高価です。生成は読み取りより計算負荷が高いためです。
英語以外のテキストでも機能しますか？ ツールは文字数をカウントしてトークンを推定します。英語以外のテキストでは、非ラテン文字は通常1文字あたり2〜3トークン使用するため、実際のトークン数は推定値より高くなります。
テキストは保存されますか？ いいえ。すべてブラウザのクライアントサイドで実行されます。テキストがサーバーに送信されることはありません。