ECI@创新科技 | GPT-3. 5 Turbo微调和API更新

转载赞收藏评论

举报 2023-08-25

扫描,分享朋友圈

ECI @HiTech开栏语

【ECI @科技创新】是由ECI@HiTech科技创新专委会每周从全球精选热门科技创新主题，帮助科技创新者和初创团队取得成功！让我们共同携手，寻找改变现有游戏规则的科技创新，激发人类的智慧和挑战，实现科技的创新和梦想。这就是科技创新的终极魅力！也是ECI”将创新带入生活Bring Innovation to Life” 的使命所在！

通常来说，科技的发展都会交替经历平台期和爆发期。平台期的科技创新更多聚焦于识别并解决客户现在的痛点，而爆发期的科技创新更多聚焦于引领并创造客户未来的需求，划时代的伟大科技创新往往诞生于此。

GPT-3. 5 Turbo的微调现已上线，GPT-4的微调将于今年秋季推出。此更新使开发人员能够自定义对其用例性能更好的模型，并大规模运行这些自定义模型。早期测试表明，经过微调的GPT-3. 5 Turbo版本在某些狭窄的任务上可以与基本的GPT-4级别的能力相媲美，甚至超越。与我们所有的API一样，发送到微调API的数据归客户所有，不会被OpenAI或任何其他组织用于训练其他模型。

调优使用案例

自GPT-3.5 Turbo发布以来，开发人员和企业一直在要求能够定制该模型，为其用户创造独特和差异化的体验。通过此次发布，开发人员现在可以运行监督式微调，以使其模型在常见用例中的表现更加出色。

在我们的私人测试版中，微调客户已经能够针对其用例，显著提高模型的表现，例如：

更高的可操纵性：微调使企业能够更好地控制模型，例如使输出简洁或始终以给定的语言响应。例如，开发人员可以使用微调确保模型在提示使用该语言时始终以德语响应。
可靠的输出格式：微调提高了模型一致性地格式化响应的能力——这对于要求特定响应格式的应用程序（例如代码完成或编写API调用）是至关重要的方面。开发人员可以使用微调来更可靠地将用户提示转换为高质量的JSON片段，并可以将其与自己的系统一起使用。
自定义语气：微调是调整模型输出的质量感受（例如语气）的绝佳方式，使其更好地适应企业的品牌声音。具有可识别品牌声音的企业可以使用微调使模型更加符合其语气。

除了提高性能外，微调还使企业能够缩短提示，同时确保相似的性能。与GPT-3.5-Turbo一起的微调还可以处理4k个标记-是我们以前的微调模型的2倍。早期的测试人员通过将指令微调到模型本身，最多可将提示大小减少90％，从而加快每个API调用并降低成本。

微调在与其他技术（如提示词工程、信息检索和函数调用）结合使用时最为强大。查看我们的微调指南以了解更多信息。对函数调用和gpt-3. 5-turbo-16k的微调支持将在今年秋季晚些时候推出。

微调步骤

第1步：准备数据
第2步：上传文件
第3步：创建一个微调任务，一旦模型完成微调过程，就可以立即用于生产，并且与底层模型具有相同的共享速率限制。
第4步：使用微调后的模型

在不远的将来，我们还将推出一个微调UI，这将为开发人员提供有关正在进行的微调任务、已完成的模型快照等的更轻松的访问信息。

安全性

对我们来说，微调的部署是安全的，这一点非常重要。为了在微调过程中保留默认模型的安全功能，微调训练数据通过我们的审核API和GPT-4驱动的审核系统传递，以检测与我们的安全标准冲突的不安全训练数据。

定价问题

微调成本分为两个部分：初始训练成本和使用成本：

训练：0.008/1KTokens使用输入：0.012/1K Tokens

使用输出：$0.016/1K Tokens

例如，一个带有100,000个tokens的训练文件的GPT-3.5-turbo微调作业经过3个周期的训练，预计成本为2.40美元。

GPT-3的最新升级版本

7月份，我们宣布原始GPT-3基础模型（ada、babbage、curie和davinci）将于2024年1月4日关闭。今天，我们提供babbage-002和davinci-002作为这些模型的替代品，可以是基础模型也可以是微调模型。客户可以通过查询Completions API访问这些模型。

这些模型可以使用我们新的API端点/v1/fine_tuning/jobs进行微调。这个新的端点提供分页和更多的扩展性，以支持微调API的未来发展。从/v1/fine-tunes迁移到更新后的端点非常简单，更多详细信息可以在我们新的微调指南中找到。这弃用了旧的/v1/fine-tunes端点，该端点将于2024年1月4日关闭。

GPT-3基础模型和微调模型的定价如下：

注：本文内容转载于OpenAI文章：

GPT-3.5 Turbo fine-tuning and API updates

https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates

目前，2023 ECI Awards（艾奇奖）正在征赛中，同时，我们在与参赛者的日常交流中，也收到了许多关于比赛的询问。为了提升参赛者的体验，ECI组委会将之前在征赛过程中，已经发布的关于各类常见问题和关键信息等内容，整理了一份参赛答疑必备手册（请点击链接进行了解：ECI Awards 2023丨精彩纷呈！全面掌握报奖流程与技巧！）我们鼓励各位参赛者能够认真准备作品，并祝愿大家在比赛中斩获佳绩！

ECI Media官方媒体矩阵

联系我们

本文系作者授权数英发表，内容为作者独立观点，不代表数英立场。
转载请在文章开头和结尾显眼处标注：作者、出处和链接。不按规范转载侵权必究。