AI・ガジェット辞典

AIとガジェットの言葉を、わかりやすく

トークンとは?

AI用語
🧩
トークン

一言でいうと: AIが文章を処理するときの単位。料金や上限の基準になる

トークンの基本

トークンとは、AIが文章を処理する際に使う、テキストを分割した最小単位のことです。AIは文章をそのまま扱うのではなく、単語や文字のまとまりごとに区切って処理しています。英語では1単語がおよそ1トークンになることが多い一方、日本語は1文字が1〜2トークン程度に分かれることが一般的です。多くのAIサービスでは、入力と出力のトークン数に応じて料金が決まったり、一度に扱える文章量の上限がトークン数で示されたりします。そのため、長い文書を扱う場合や、APIを業務で使う場合には、トークン数の感覚がコスト管理に直結します。画面上では意識しなくても、裏側では常にこの単位で計算が行われています。無料プランと有料プランの違いや、長文が扱えるかどうかも、このトークンの上限で決まることが多くあります。AIサービスを比較するときに、必ず目にする基本単位です。

ここがポイント

日本語はトークンを多く消費する

同じ内容でも、日本語は英語よりトークン数が多くなりがちです。これは、日本語の文字が細かく分割されやすいためです。料金プランや上限を比較する際は、日本語での利用を前提に、余裕を持って見積もることが大切です。英語前提の料金表示をそのまま当てはめると、想定より高くつくことがあります。

入力と出力の両方が対象

料金や上限の計算では、質問文だけでなくAIの回答分も合算されることが一般的です。長い回答を求めるほど消費も増えるため、「要点だけ」「200字以内で」と必要な長さを指定することが、無駄な消費を抑える工夫になります。会話が長くなるほど、過去のやり取り分も積み重なる点にも注意が必要です。

確認できる場所

多くのサービスでは、利用状況の確認画面やAPIの管理画面で、トークンの消費量や請求額の目安が見られます。業務で使う場合は、想定外の出費を防ぐため、定期的に使用量をチェックする運用が一般的です。上限アラートを設定できるサービスもあります。コスト意識を持つことが、継続利用のコツです。

使うときのコツ・注意点

トークン数は、文字数とは単純に比例しません。記号や専門用語の多い文章は、想定より多くなることがあります。無料プランの上限に達して使えなくなった場合は、このトークンや利用回数の制限が原因のことが多いです。制限の仕組みを理解しておくと、プラン選びで失敗しにくくなります。仕様書ではトークン表記が基本なので、読み方に慣れておくと安心です。

関連する用語