Token 计数器

💡什么是 Token

大模型不按字符而按 token 处理文本：token 是分词后的最小单元。英文约 4 字符≈1 token，中文约 1 字≈1~2 token。token 数决定上下文占用与费用。

• 为何估算不同模型分词器（GPT/Claude/Gemini）不同，精确值需用对应 tokenizer；此处为通用启发式估算。
• 意义了解 token 有助于控制提示长度、估算 API 成本、规划上下文窗口。