共计 3317 个字符,预计需要花费 9 分钟才能阅读完成。
OpenAI 快要让人追不上了。
编译 | 刘杨楠
3 月 2 日凌晨,OpenAI 在官网正式发布 ChatGPT API。
接入“黄牛版”ChatGPT API 所带来的高昂成本让很多开发者非常头疼,今天 OpenAI 便给出官方定价——每 1k 个 token 的价格为 0.002 美元,比现有的 GPT-3.5 模型便宜 10 倍!此外,OpenAI 表示,自去年 12 月以来,ChatGPT 的成本已经砍掉 90%,这无疑大大降低了开发者们的使用门槛。
目前,Instacart、Shopify、Snap、Quizlet 等平台已率先接入 ChatGPT API,并即将推出 ChatGPT 赋能的升级版应用,以提高用户使用体验。
OpenAI 还提到,在今天发布的 ChatGPT 模型家族中,GPT-3.5-turbo 是和 ChatGPT 产品中相同的模型。对于许多非聊天应用来说,它也是 GPT3.5 最好的模型。
最后,OpenAI 着重提到了针对开发者进行的一系列优化——将为希望更深入控制特定型号版本和系统性能的用户提供专用实例。
ChatGPT API 在 Azure 上运行,并且使用专用实例,因此,开发人员将按时间段支付分配计算基础设施的费用,这些基础设施是为满足他们的 requests 而保留的。对于每天运行超过 4.5 亿个 token 的开发人员来说,专用实例能够直接降低开发人员的使用成本。
以下为 ChatGPT 及 WhisperAPI 简介的编译内容(本文初稿由 ChatGPT 翻译):
ChatGPT 和 Whisper 模型现在可以在我们的 API 上使用,让开发者能够获得最先进的语言 (不仅仅是聊天!) 和语音转文字的功能。自去年 12 月以来,通过一系列的系统级优化,我们已经 将 ChatGPT 的成本降低了 90%,现在我们正在将这些节省的成本传递给 API 用户。开发者现在可以在 API 中使用我们的开源 Whisper large-v2 模型,来更快速、更经济地获得结果。ChatGPT API 用户可以期待持续的模型改进和选择专用容量以更深入地控制模型的选项。我们将密切关注开发者的反馈,并改进我们的 API 服务条款以更好地满足他们的需求。
ChatGPT 和 Whisper APIs 的早期用户
Snapchat 是一个日常通讯和消息传递平台,拥有 7.5 亿月活用户,它的创造者 Snap Inc. 本周推出了一项名为 “My AI for Snapchat+” 的实验性功能,它运行在 ChatGPT API 上。My AI 为 Snapchat 的用户提供一个友好的、可定制的聊天机器人,它可以为用户推荐信息,甚至可以在几秒钟内为朋友写一封信。
Quizlet 是一个全球性的学习平台,有超过 6.000 万学生用它来学习。Quizlet 与 OpenAI 合作三年,用 GPT- 3 开展多种应用,包括词汇学习和练习测试。随着 ChatGPT API 的推出,Quizlet 推出了 Q -Chat——一个完全自适应的 AI 导师,它能通过有趣的聊天体验,向学生提供基于相关学习材料的自适应问题。
Instacart 正在优化其应用程序,计划在今年晚些时候推出“Ask Instacart”。这款程序能让客户询问关于食品的问题,并帮助客户发现。这项功能使用了 ChatGPT 与 Instacart 自己的 AI,并搜集了 75.000 多家零售合作伙伴店铺的产品数据,以帮助客户做出购买决策,例如“我该如何制作美味的鱼肉玉米饼?”或者“如何为我的孩子准备健康的午餐?”
Shop 是 Shopify 的消费者应用程序,可供用户查找他们喜欢的产品和品牌,并与之互动,目前已有 1 亿用户。ChatGPT API 可以支持 Shop 的新购物助手——当用户搜索产品时,购物助手会根据他们的请求提供个性化建议。Shop 的新型 AI 购物助手通过扫描数百万产品快速找到购买者正在找的东西,或者帮助他们发现新的产品,从而简化在应用内的购物体验。
Speak 是一款由 AI 驱动的语言学习应用程序,专注于建立通向口语流利的最佳路径。他们是韩国增长最快的英语应用程序,并已经在使用 Whisper API 为全球推出一款新的 AI 口语伴侣产品。Whisper 针对各个级别的语言学习者具有人类级别的准确度,可实现真正的开放式会话实践和高度准确的反馈。
ChatGPT API
模型:我们今天发布的 ChatGPT 模型家族中,GPT-3.5-turbo 是 ChatGPT 产品中使用的模型。每 1k 个 token 的价格为 0.002 美元,比我们现有的 GPT-3.5 模型便宜 10 倍。对于许多非聊天应用来说,它也是我们最好的模型——我们已经看到早期测试者从 text-davinci-003 迁移到 GPT-3.5-turbo 时,只需要对他们的 prompt 做少量调整。
API:传统上,GPT 模型使用未结构化文本,在模型中表现为一系列“token”序列。ChatGPT 模型改为使用一系列消息和元数据。(好奇的人可以了解一下:在底层,输入仍然呈现为“token”序列; 模型使用的原始格式是一种被称为“Chat Markup Language(ChatML)”的新格式)。
我们创建了一个新端点来与我们的 ChatGPT 模型进行交互:
Request:
Response:
Python bindings:
ChatGPT 升级
我们将不断改进 ChatGPT 模型,并希望将这些优化后的功能也提供给开发者。使用 GPT-3.5-turbo 模型的开发者将始终获得我们的稳定模型,并仍然能自由选择特定的模型版本。例如,今天我们发布了 GPT-3.5-turbo-0301. 该版本至少可支持到 6 月 1 日前,我们将在 4 月将 GPT-3.5-turbo 更新到新的稳定版本。
专用实例(Dedicated instances)
我们现在还为希望更深入控制特定型号版本和系统性能的用户提供专用实例。默认情况下,用户请求在与其他用户共享的计算基础设施上运行,其他用户按请求付费。我们的 API 在 Azure 上运行,并且使用专用实例,开发人员将按时间段支付分配计算基础设施的费用,这些基础设施是为满足他们的请求而保留的。
开发人员可以完全控制实例的负载(更高的负载会提高吞吐量,但会使每个请求变慢)、启用更长上下文限制等功能的选项,以及固定模型快照的能力。
对于每天运行超过 4.5 亿个 token 的开发人员来说,专用实例具有经济意义。此外,它还可以根据硬件性能直接优化开发人员的工作负载,这可以显着降低与共享基础设施相关的成本。如需专用实例查询,请联系我们。
Whisper API
我们于 2022 年 9 月开源的语音转文本模型 Whisper 获得了开发者社区的极大赞誉,但很难运行。我们现在已经通过我们的 API 提供了 large-v2 模型,它提供了方便的按需访问,价格为 0.006 美元 / 分钟。此外,与其他服务相比,我们高度优化的服务堆栈可确保更快的性能。
Whisper API 可通过我们的转录 (将源语言转录) 或翻译 (将语音转录为英语) 端点进行访问,并接受多种格式(m4a、mp3、mp4、mpeg、mpga、wav、webm):
Request:
Response:
Python bindings:
开发者关注的问题
在过去六个月中,我们一直在收集 API 客户的反馈,以了解我们如何才能更好地为他们服务。我们进行了一些具体调整,例如:
ꔷ 通过 API 提交的数据不再用于服务改进(包括模型训练),除非组织选择加入。
ꔷ 为 API 用户实施默认的 30 天数据保留政策,并根据用户需求提供更严格的保留选项。
ꔷ 删除我们的发布前审查(通过改进我们的自动监控解锁)
ꔷ 改进开发人员文档。
ꔷ 简化我们的服务条款和使用政策,包括有关数据所有权的条款:用户拥有模型的输入和输出。
在过去的两个月里,我们的正常运行时间没有达到我们自己和用户的期望。我们工程团队目前的首要任务是保证生产用例的稳定性——我们知道,为确保人工智能造福全人类,我们需要成为可靠的服务提供商。在接下来的几个月里,我们会改进运行时间。
我们相信人工智能可以为每个人提供难以置信的机会和经济赋能,而实现这一目标的最佳方式是让每个人都可以利用它进行建设。我们希望今天宣布的内容能让更多人开始构建由 ChatGPT 和 Whisper 提供支持的下一代应用程序,从而让每个人都能受益。