AIのトークンと文字数は同じ？長い資料を渡す前の確認

文字数だけで料金や入力上限を計算していないかな？モデルが扱う単位と、資料の分け方を整理するよ。

図：固定の「日本語何文字＝1トークン」で、全モデルの料金や上限を計算しない。

トークンは文字数そのものではない

AIモデルは入力や出力をトークンという単位で扱うよ。日本語の何文字が必ず1トークン、という固定の換算で考えないようにしよう。モデルや入力内容で違うため、対応する計数機能や利用結果を確認するのが確かだよ。

本文以外も含まれることがある

会話履歴や指示、ツール定義なども、処理の構成によって入力へ含まれる。画像や音声の扱いもサービスごとに確認してね。貼り付けた本文だけ数えても、全体の使用量になるとは限らないよ。

資料は目的に合わせて整理しよう

文書を渡す前に、何を調べるか、必要な章はどこかを決めておこう。章番号や出典を残すと、分割した後にも参照しやすいよ。分割する場合は、別の章にある条件を切り離して意味を変えないよう注意しよう。

料金と上限は個別に調べる

入力・出力・キャッシュなどの課金項目を分け、使うモデルとプランの現行条件で見積もろう。この記事では固定の料金や上限を載せていないよ。長い入力が可能でも、すべての情報を正確に扱える保証にはならないので、根拠の照合は続けよう。