共计 1723 个字符,预计需要花费 5 分钟才能阅读完成。
ChatGPT4.0 收费的单位,是“$0.003-0.006 1k tokens”,每 1000 个 tokens 需要花费 0.002-0.006 美元。
这个 token 是什么意思呢?
在自然语言处理 (NLP) 中,token 是指一组相关的字符序列,例如一个单词或一个标点符号。
将文本分解为 token 是 NLP 的一项基本任务,因为它是许多其他任务的先决条件,例如词性标注、命名实体识别和机器翻译。
在文本处理中,token 可以是一个词语、数字、标点符号、单个字母或任何可以成为文本分析的单个元素。
在分解文本时,通常会根据空格、标点符号和其他特定的分割符号来确定 token 的边界。
例如,在以下句子中,标点符号和空格用于分解成为不同的 token:
“ 我喜欢吃冰淇淋。”n
在这个句子中,每个汉字和标点符号都可以切分开成一个 token。
但是,一个字一个字去理解整句话的意思,可能反而会理解错误。
例如“冰淇淋”,就是一个完整的词,分开成“冰”“淇”“淋”三个字反而无法理解了。
类似的,NLP 中,token 还可以是比词更高级别的语言单位,例如短语或句子。
例如,对于短语 token,“红色的苹果”可以被视为一个 token,而不是单独的“红色”和“苹果”token。
因为存在不同的切分方式,所以“红色的苹果”,就需要切分成“红”“红色”“的”“苹果”“果”“红色的苹果”等多个 token 去理解。
在处理文本时,理解 token 的概念是非常重要的,因为它是许多文本分析任务的基础。NLP 算法会使用 token 来构建文本的表示形式,理解自然语言,以便进行其他分析任务。
因此,对于 NLP 系统来说,选择正确的分词方法 (tokenization) 非常重要,它将直接影响到其他任务的准确性和效率。
再回来看 ChatGPT
“$0.002 per 1k tokens”
在英语中“一个 token 通常对应大约 4 个字符”,而 1 个汉字大致是 2~2.5 个 token。
1000 tokens 大概是 750 单词。那也就是说,大概 2 美元可以问 100 万个 token,相当于 750000 个单词。75 万个单词只要不到 15 块钱人民币,相比人类作家,够便宜的了!
当然,虽然 100 万个 token 看起来很多。但其实,发送一段供 API 响应的文本可能就会花费不少 token。
根据大家的经验,基本问清楚 1 个问题就要耗费 100~200 个 token,算起来其实不少的,尤其在连续会话中,为了保持对话的连续性,必须每次都要回传历史消息,并且输入都要算 token 数算钱的,满打满算,按量付费其实也不便宜。
如果你想查询一串指定的文本到底需要耗费多少个 token(钱),官方也有提供一个免费查询计算器,有兴趣可以看一看计费方式
你肯定好奇为何 chatgpt 要这样的收费方式
按照使用时间 (分、秒) 计费
如果按照使用时长,精确到分秒的计费方式呢?
我第一个反对,网络不好的话,浪费的钱算谁的?
再说了,如果这样的话,那么如果故意设置 AI 的响应时间“加 1 秒”,岂不是凭空赚了很多钱?
包年、包月计费
通常大家首先想到的是包年、包月这种按照使用时长的计费方式。
这种方式对大家购买爱奇艺、腾讯视频会员来说比较合适。
但 AI 服务,不排除有人使用程序不停的自动问问题,那么 AI 的响应效率越高,单位时间内的服务使用量不就越多了么?
岂不是如果 AI 服务越优质高效,反而成本越高、利润越少,这可不是 AI 服务提供商希望看到的。
按照字词或者句子数收费
那按照字数收费呢?
对人类作家来说,按照字数收费是最普遍的了。n
刚入行的网文写手可能千字 2 -10 元,好点的千字百元甚至千字数百元,更出名的可能就得单聊了。AI 也是创作,是不是可以也以文字数来收费呢?
ChatGPT 这类应用支持多种语言,那么
“落霞与孤鹜齐飞,秋水共长天一色”,n
放到英语里就是
“The rosy clouds and solitary geese fly together, autumn waters blend with the sky.”n
似乎按照字数收费有点不合理。
按照句子来收费呢? 我们知道,简单句和复杂句在结构上相差很大,有些概念可能需要好几句话才能解释清楚。问一个简单的却内涵丰富、模棱两可的句子,远比多问好几句具体而精准的问题让计算机烧脑的多。看来也不合适。
![post-qrcode](https://www.ttzdm.cn/wp-content/uploads/2024/08/banbanai-weixin.png)