用語集 ／ 基本
トークンとは？AIが文章を読み書きするときの、小さな区切りの単位。
追加：2026-10-11
トークンとは、AIが文章を読み書きするときの、小さな区切りの単位です。
たとえ：AIにとっての「文字数」を数えるときの、独自のものさし。
| 読み方 | とーくん |
|---|---|
| 英語 | Token |
| 分類 | 基本 |
トークンの意味
AIは文章を「トークン」という小さな単位に分けて扱います。英語ではおおむね単語やその一部、日本語では1文字〜数文字ほどが1トークンになることが多く、モデルによって区切り方は違います。
APIの料金や、一度に扱える量（コンテキストウィンドウ）は、トークンの数で決まることが多いです。
日本語では何文字くらい？
区切り方はAIの種類（モデル）によって違います。英語はおおむね単語やその一部、日本語は1文字〜数文字ほどが1トークンになることが多いです。正確な数は、各社が公開している数え方の道具で確かめられます。
料金や上限との関係
APIで使う場合、料金は「入力したトークン数」と「出力されたトークン数」で決まるのが一般的です。
長い資料を一度に読ませると、たくさんのトークンを使います。上限（コンテキストウィンドウ）をこえると、読みきれなくなります。
トークンのよくある質問
日本語の1文字は何トークンですか？
モデルによって区切り方が違うため一定ではありません。日本語は1文字〜数文字ほどで1トークンになることが多いです。
トークンは料金に関係しますか？
APIで使う場合、入力と出力のトークン数で料金が決まるのが一般的です。