ChatGPTのトークン数とは？計算（カウント）方法、日本語と英語の違いを解説

最終更新日：2024/07/25

AI 文章生成AI

ChatGPTのTips第三弾です。今回は以下の疑問や悩みを解決したいと思います。

「ChatGPTのトークンって何？」
「どうやってカウントするの？」
「日本語と英語では計算方法が違うって本当？」

ぜひ参考にしてください。

ChatGPTのトークンとは

ChatGPTのトークンとは処理テキストの基本単位です。「文字列を意味のあるかたまりに分類したもの」という理解で構いません。たとえば、「This is a cat.」の場合は以下のとおりです。

This：1トークン
is：1トークン
a：1トークン
cat：1トークン
.（ピリオド）：1トークン

5つの意味のあるかたまりに分けられるので、「This is a cat.」は5トークンです。

しかし、日本語の場合はトークンのカウント方法が異なるのでご注意ください。詳細は後述します。

ChatGPTのトークンの重要性

ChatGPTを利用するにあたり、トークンはとても重要な役割を担っています。その理由は以下のとおりです。

ChatGPTの文字数制限はトークン数に左右される
OpenAIのAPI料金はトークン数で決まる

それぞれ詳細を解説します。

ChatGPTの文字数制限はトークン数に左右される

前提として、ChatGPTの入出力機能には文字数制限がありますが、それは入力したトークン数に左右されます。

ここで注意したいのが、「トークン数≠文字数」という点です。たとえば「私は、学校の廊下を駆け抜けました。」は17文字ですが、トークン数は20と算出されます。

トークンの概念を理解しておけば、文字数制限に引っかかっても慌てずにすみます。

ChatGPTの文字数制限に関してはこちらの記事を参考にしてください。

＞＞＞ChatGPTの文字数制限とは？有料版と無料版の違い、回避する方法を解説

OpenAIのAPI料金はトークン数で決まる

OpenAIのAPを利用する場合、料金はトークン数で決まります。具体的な計算式は以下のとおりです。

API料金＝入力トークン数×利用単価＋出力トークン数×利用単価

つまり、トークンの数が増えるほどAPI料金も高くなる仕組みです。

ChatGPTのトークン数の上限は？

結論、ChatGPTのトークン数の上限は、4,096～128,000です。上限に振れ幅があるのは、ChatGPTのモデルごとに処理できるトークン数が異なるため。詳細は以下のとおりです。

GPT-3.5：4,096トークン
GPT-4：32,768トークン
GPT-4 Turbo：128,000トークン

快適に使うためには、有料版のGPT-4をおすすめします。

ChatGPTのトークンの計算（カウント）方法

ここでは、ChatGPTのトークンを計算する方法を解説します。英語と日本語ではカウントの仕方が異なるので、「Tokenizer（トークナイザー）」と呼ばれるツールを使ってその差をチェックしていきましょう。

ちなみに、「Tokenizer（トークナイザー）」はOpenAI社が提供する公式ツールです。

英語の場合

英語の場合、トークンのカウント方法は以下のとおりです。

1単語≒1トークン
ピリオドなどの句読点も1トークン

実際に「We are having a party at my place this coming weekend. All members are in their 20’s including me. Please let me know what kind of food I should prepare.（今度の週末、私の家でパーティーをすることになりました。メンバーは私を含め全員20代です。どのような料理を用意すればいいか教えてください。）」という文章のケースをみてみましょう。

結果は以下のとおりです。