ECI@创新科技 | Meta发布了一个针对Llama2的编码版本

转载赞收藏评论

举报 2023-08-25

扫描,分享朋友圈

ECI @HiTech开栏语

【ECI @科技创新】是由ECI@HiTech科技创新专委会每周从全球精选热门科技创新主题，帮助科技创新者和初创团队取得成功！让我们共同携手，寻找改变现有游戏规则的科技创新，激发人类的智慧和挑战，实现科技的创新和梦想。这就是科技创新的终极魅力！也是ECI”将创新带入生活Bring Innovation to Life” 的使命所在！

通常来说，科技的发展都会交替经历平台期和爆发期。平台期的科技创新更多聚焦于识别并解决客户现在的痛点，而爆发期的科技创新更多聚焦于引领并创造客户未来的需求，划时代的伟大科技创新往往诞生于此。

上个月，Meta发布了类似于ChatGPT背后的人工智能模型Llama2，使开发人员、初创公司和研究人员可以尝试这种人工智能，这种人工智能已经让全世界着迷了将近一年。

今天，Meta又发布了CodeLlama，这是该模型的编程任务版本。这一发布可能意味着更多的开发人员能够体验到人工智能辅助编程。它也可能激发将人工智能嵌入软件的新方法。此外，它还有助于进一步巩固Meta作为“开放”人工智能工具的卓越供应商的地位。

斯坦福大学博士后研究员、研究人工智能编码的DeepakKumar说：“令人兴奋的是，他们正在向社区发布这些权重。”他指的是该模型核心神经网络的结构参数。

Kumar说Meta规范语言模型Llama2的发布形成了讨论模型运作原理以及模型如何改进的社区。“相对于Google或者OpenAI提供的封闭式软件来说，我们现在使用该项技术比以往的任何软件都更加灵活。”

Kumar表示，Meta发布的常规语言模型Llama2促使社区形成，专门讨论它的行为方式以及如何对其进行修改。“与Google或OpenAI的封闭源代码模型相比，它给了我们更多的灵活性，让我们可以研究到底发生了什么。”Kumar说，开发人员可能会使用CodeLlama构建新型应用程序。例如，Kumar表示，可以创建一个编程助手，在推荐一段代码之前执行各种附加的安全检查。他自己的研究表明，人工智能辅助有时会导致代码不那么安全。Kumar补充说，这一发布可能会激发创造出专门针对特定编程类型的助手。“你可以在该模型的基础上构建各种工具，”他说。

伊利诺伊大学厄巴纳-香槟分校研究编程的助理教授塔莉娅·林格(Talia Ringer)说，《 CodeLlama》将为学术研究提供有价值的资料。我已经有学生使用Llama模型进行研究，考虑到我们的工作性质，我可以看到那些学生对代码模型非常感兴趣，“她说。但林格补充说，理想情况下，用于训练的数据也应当被发布出来。她说：“这往往是理解LLM研究的缺失部分。”

人工智能最近的进步已经对编程产生了相当大的影响。2021年5月，微软子公司GitHub推出了Copilot，这是一款编程程序插件，可根据用户输入的第一行或注释自动完成代码部分。Copilot使用OpenAI的GPT的一个版本，这是ChatGPT背后的大型语言模型。该模型使用GitHub为开发人员存储的代码以及据报道由承包商付费注释自己的代码进行进一步的训练。

GitHub因在其培训数据中使用一些开源代码而面临诉讼，Masad说，Meta很可能限制了培训数据，以避免此类复杂情况。Copilot个人每月花费10美元，企业每个用户每月花费19美元。

根据GitHub于6月发布的数字，Copilot已经被超过100万名开发人员和超过20万家企业使用。该公司自己的研究还表明，Copilot加快了程序员执行任务的速度，使生产率提高了30%。

Meta发布了两个版本的CodeLlama，一个针对生成Python代码，另一个针对将自然语言命令转换为代码进行了优化。该公司还推出了三种尺寸的机型。最小的可以在单个GPU上运行。

Meta表示，CodeLlama是在公共领域的代码上进行训练的。该公司表示，在两个常见的编码基准测试中，即HumanEval和Mostly Basic Python Problems中，它的性能比现有的开源编码模型好得多，而且与ChatGPT“相媲美”。

提供几个生成人工智能工具的在线编码平台Replit的首席执行官Amjad Masad并不认为CodeLlama会取代Copilot，因为它的训练数据更有限，这可能会使它更加有限。但他表示，此次发布的软件将允许开发人员使用能执行有用任务的代理进行试验，比如浏览网页获取信息或使用API预订航班或订餐。“我认为这是一个非常令人兴奋的领域，”马萨德说。“人机交互时，你可以键入自然语言指令，而模型则能处理数据，这可以在世界上做一些有趣的事情。”

CodeLlama的发布也可能给Meta带来好处。该公司可能没有ChatGPT或基于AI的搜索引擎，但成为许多开发人员、公司和研究人员的免费AI提供商，可以使它在利用生成性AI的竞争中占据一席之地。在看到有人在5月份将Llama的早期版本泄露到网上后，Meta选择采用开放的方法。

无论是Llama2还是CodeLlama，都不是在常规的开放源代码软件许可证下发布的，该许可证将允许不受限制的商业使用。例如，根据Meta的许可证，用户不得在每月用户超过7亿的应用程序或服务中使用这些模型。

本月发表在网上的一篇研究论文指出，发布人工智能工具可以为其背后的公司带来显著的间接利益，例如，将研究人员锁定在他们的工具中，并为他们提供可以大规模使用的新想法。

注：本文内容转载于WIRED文章：

Meta Just Released a Coding Version of Llama 2

https://www.wired.com/story/meta-code-llama/

目前，2023 ECI Awards（艾奇奖）正在征赛中，同时，我们在与参赛者的日常交流中，也收到了许多关于比赛的询问。为了提升参赛者的体验，ECI组委会将之前在征赛过程中，已经发布的关于各类常见问题和关键信息等内容，整理了一份参赛答疑必备手册（请点击链接进行了解：ECI Awards 2023丨精彩纷呈！全面掌握报奖流程与技巧！）我们鼓励各位参赛者能够认真准备作品，并祝愿大家在比赛中斩获佳绩！

ECI Media官方媒体矩阵

联系我们

本文系作者授权数英发表，内容为作者独立观点，不代表数英立场。
转载请在文章开头和结尾显眼处标注：作者、出处和链接。不按规范转载侵权必究。