Token 是什麼？中文：「詞元」ChatGPT 每個 Token 到底能寫幾個字？

Token 是語言文本的基本單位，它用來計算 ChatGPT 這種生成式 AI 語言模型（Generative AI models）可以產出的字數。

每個詞元（token）可以寫幾個字？

在語言模型當中，每 1 個 token 約可以寫 1 個英文字；中文則只能寫 0.5 個字，但這些字數會根據不同文案而變動。

根據《OpenAI》的建議，你可以把每個 token 看成一個帶有 4 個字母的英文單字，每 100 個 token 約可寫出 75 字的英文文章。

ChatGPT 每次最多能寫幾個字？

• GPT-3 語言模型：每次輸出最高上限為 2,049 個 token，大約可以寫出 1,000 字的中文文章、1,720 字的英文文章
• GPT-4 語言模型：每次輸出最高上限為 32,768 個 token，約是 16,056 個中文字、25,000 個英文字

為什麼每個詞元（token）寫出來的字數不固定？

因為每個中文字或英文字所消耗的 token（詞元）數量不一樣，而標點符號、空白鍵，甚至「換行」等，都代表不同的 token 數目。

比如說「你好嗎」是 3 個中文字，但使用了 7 個 token。