科研成果 | 数说故事联合中大HCP实验室共创「大模型」领域论文

原创赞1 收藏评论

举报 2023-12-19

扫描,分享朋友圈

日前，中国计算机学会（CCF）推荐的A类国际学术会议AAAI人工智能大会 2024论文接收结果公布。中山大学HCP实验室和数说故事研究员合著的论文《Adaptive Prompt Routing for Arbitrary Text Style Transfer with Pre-trained Language Models》成功被「人工智能领域」国际顶级会议AAAI录用。这是继上半年与IDEA联合共创学术论文获NLP国际顶会 ACL 2023收录后的又一重大突破，不仅展示了论文研究学者们在人工智能领域的卓越研究能力和创新思维，更是双方在人工智能领域不断突破能力边界，实现AI技术的商业化应用的有力证明。

◎更多阅读：权威硬核认证｜数说故事携手IDEA共创学术论文获NLP国际顶会 ACL 2023收录

AAAI 2024共收到12,000余份论文投稿，最终录用2,342篇论文，录用率仅为23.75%。AAAI（Association for the Advancement of Artificial Intelligence）是国际人工智能领域最权威的学术组织之一，由计算机科学和人工智能领域奠基人Allen Newell、Marvin Minsky、John McCarthy等学者于1979年共同创立，旨在推动智能思维与行为机制的科学理解及机器实现，并促进人工智能的科学研究和规范应用。AAAI是国际顶级学术会议——AAAI人工智能大会（AAAI Conference on Artificial Intelligence）的组织者。

此篇论文是数说故事专注于Social领域的商业大模型——SocialGPT的一次核心探索，基于数说故事海量的社媒数据，利用人工智能、大数据挖掘分析、算法等技术，以及SocialGPT独有的垂直聚焦商业问题、实时更新迭代、更懂消费者的三大应用特征，为研究提供了坚实的基础。通过该研究提出的方法，社交媒体平台和内容创作者可以更灵活、更高效地进行文本风格转换，满足用户的个性化需求并提升内容的吸引力。这对于推动社交媒体内容创作和传播，提高用户体验以及提升品牌形象都具有重要的影响。

DataStory

自适应提示引擎：

打开智能文本“变身”新思路

自ChatGPT横空出世以来，大语言模型（LLM）的相关研究一直是学术界的热点。众所周知，在实际应用中，大模型的输出效果受prompt的质量影响很大，而对于一个复杂的场景，往往需要多个prompt的紧密配合，prompt的设计和选择成为了一个关键问题，甚至催生了一个新兴的工作内容——提示工程（Prompt Engineering）。但目前，在大多数场景中，prompt的设计和选择还是以个人经验为主，缺乏稳定的范式和框架。

本次论文中，双方合力聚焦于常见的自然语言处理任务——文本风格迁移（Text Style Transfer，TST），提出了自适应提示路由(Adaptive Prompt Routing ，APR)框架，用于自适应地根据输入文本和任务，从候选集合中选择合适的prompt。具体来说，我们首先为目标任务构造一个候选prompt集，其中包含多种人类可读的prompt。随后，我们训练了一个prompt路由模型，根据输入文本选择最优prompt。最后，以最优的prompt联合输入文本输入到LLM中，得到文本风格迁移的结果。经测试，在3个普遍使用的LLM上，4个TST基准测试均通过APR框架实现了最优的风格迁移效果。

/ 文本风格迁移/

Text Style Transfer，TST

文本风格迁移是自然语言处理领域一个经典任务，属于可控文本生成范畴，目标是调整输入文本的风格或样式，同时保留与风格或样式无关的内容并保持文本的流畅性，从而在营销文案生成、内容合规、自动化报告等多种实际场景下展现出强大的适应性，例子如下：

安利风格→务实推荐风格

安利风格

从今年被我室友种草了一个赫莲拉的美白面膜，就一直用，用到现在看起来白净透亮的多！听室友说这个有美白特证，我感觉它的性价比还挺高的，一百多两瓶对于生活费并不高的我来说用起来也没有压力！???? 用完之后第二天脸上依旧清清爽爽的！对油皮来讲真的会成为心头好！！一直坚持再用，用完两瓶之后，肤色匀净透亮很多，而且白白嫩嫩的。我还刻意停用了一段时间，没反黑也没长毛！???? 除了用护肤品，平常我还注意做好防晒，平常多喝温开水、多吃水果！--- 重要还是得坚持，是一定会收获惊喜的！???? #美白面膜 #便宜好用的美白面膜 #黄黑皮 #去黄提亮 #学生党好物

务实推荐风格

最近，我的室友向我推荐了赫莲拉的一款美白面膜。使用三个月后，就个人感受来说，我肤色变得更加白皙和明亮。这款面膜拥有美白特证，价格在一百多人民币两瓶范围，性价比比较高。使用后的第二天，我的脸仍然感觉清新，很适合油性肌肤。连续用完两瓶后，我的肤色变得更加均匀，皮肤也显得白净嫩滑。在刻意停用了一段时间后，皮肤也没有变黑和长毛。除了使用这款护肤面膜，平时我也会注意做好防晒工作，多喝开水，多吃水果来促进肌肤健康。我认为坚持使用美白产品是关键，只要坚持不懈，就会有惊喜的发现。

采用自适应提示路由框架可以显著提升文本风格迁移任务的“变身”性能。此次的研究有别于传统的人工选择prompt，APR能够根据输入文本的特征和目标任务的需求，自动选择最合适的prompt，大大减少人工干预的成本和工作量，同时也提高prompt的设计和选择的稳定性和可靠性。

此篇论文中的文本风格迁移任务，在数说故事的多个场景中有落地应用：

分析师助手

商业分析师在撰写报告的时候，可通过该项技术实现快速的风格/格式转换，以适应不同报告受众的需求。

分析报告有几种常见的格式：简短明快、适合汇报的版本，深度详细、适合细究的版本等等。通过文本风格迁移技术，分析师助手可为同一内容同时构建不同的格式，快速构建不同场合使用的版本，只需后续少量人工校正即可使用。

另外一个场景是对UGC评论进行分析，可通过文本风格迁移技术，将带有情感极性的表述转化为中性的表述，方便进一步归因洞察，同时便于生成客观中性的总结。

人机对话

通过风格转换技术，可快速实现机器人设的切换，效果更加稳定。

通过定制不同风格人设的机器人来表现出不同的语言风格，从而提供更加生动有趣的对话体验。假设有一个智能聊天机器人，它可以被定义为活泼型、幽默型、正式型等不同的人设。当用户与该机器人进行对话时，机器人可以根据用户的喜好和需求，以相应的语言风格进行回复。比如，如果用户喜欢幽默风格，那么机器人可以使用幽默的措辞和表达方式进行回复；如果用户需要正式的信息或者商务交流，机器人则可以使用正式的语言风格进行回复。

营销内容生成

协助营销物料进行稳定、无损的风格裂变，达到最优的生成效果。

通过文本风格迁移技术，企业可以根据不同的营销平台和目标受众，生成适合该平台和目标受众的文案风格。假设我是户外运动鞋品牌的内容营销经理，可以把官方的文案直接转换成俏皮且轻松的种草安利风格的描述。这样的转变可以帮助企业更好地与目标客户进行沟通，并提高品牌形象和市场竞争力。

经典方法中，模型的效果受制于平行语料的短缺，自从LLM爆火之后，研究者发现LLM对于文本风格迁移有较好的结果，此类方案包括：

a. 对LLM进行指令微调

b. 设计优良的prompt

c. 针对任务搜索出固定的prompt

此类方案依然存一些问题：

prompt的选择对于输入数据是敏感的（如图1），以上方案并未考虑输入数据的影响。

设计或搜索出来的最优prompt，往往对于人类是不可读的

针对此问题，我们引入了ARP框架，它可以自动从一组人类可读的prompt集合中，为输入文本选择合适的prompt。图2为ARP框架的执行流程。APR依赖于两个关键组件:

1）一组多样化的、人类可读的prompt集合

为了让不同的输入文本都找到合适的prompt，我们构建了一个多样化的、人类可读的prompt集合。构建过程包括两个步骤。首先，我们手动设计一些TST的种子prompt。然后，使用GPT-3.5生成更大、更多样化的prompt集合。prompt集合具有相似的含义，但表达式和格式不同。

2）一个提示路由模型，从prompt集合中为每个输入文本选择合适的prompt

随机挑选输入文本和prompt集合中的prompt，组合成完整的输入，并输入到LLM中，得到LLM的输出。对LLM的输出进行标注，人工挑选出效果优异和效果较差的输出，得到一个二分类的训练集。用BERT编码器加一层全连接层和Sigmoid函数组成的模型进行训练，即可得到提示路由模型。实际使用中，将输入文本和prompt组合输入到模型中，模型可预测出prompt对输入文本的匹配程度。

文本风格迁移技术在商业应用中具有广泛的应用前景。通过适当地转换文本的风格，企业可以更好地与目标受众进行沟通，并提升用户体验、品牌形象和市场竞争力。未来，我们将进一步提升框架的“变身”性能，并应用于数说故事SocialGPT的落地点中。通过自适应提示路由框架的引入，我们将进一步为大模型的应用提供更加稳定和可靠的方案，从而推动自然语言处理技术的进一步发展。

关于中山大学HCP实验室

中山大学人机物智能融合实验室围绕“人工智能前沿技术与产业化”布局研究方向与课题，并深入应用场景打造产品原型，输出大量原创技术及孵化创业团队。在多模态认知计算、机器人与嵌入式系统、元宇宙与数字人、可控内容生成等领域开展体系化研究，以“攀学术高峰、踏应用实地”为工作理念。

实验室由林倞教授创办于2010年，目前由包含3名国家级人才的教授团队领衔，其中林倞教授入选IEEE Fellow、IAPR Fellow、IET Fellow。实验室承担或者已完成各级科研项目60余项，包括国家2030重大项目、国家重点研发计划项目、国家自然科学基金委-广东大数据科学中心项目、国家自然基金委重点项目等，共获得科研经费超过5千万元。科研团队在顶级国际学术期刊与会议上发表论文400余篇，包括在IEEE/ACM Trans汇刊发表论文100余篇，在顶级会议发表论文150余篇，获得一系列国际会议和期刊的最佳论文奖。实验室同样注重成果转换，与知名IT及人工智能企业，例如中兴通讯、华为昇腾计算事业部、华为诺亚方舟实验室、广州视源科技等，开展广泛合作，完成企业委托研发项目。2022年实验室孵化创新企业拓元智慧，打造通用多模态认知AI技术平台，深度赋能元宇宙及内容创造各主要应用场景。

本文系作者授权数英发表，内容为作者独立观点，不代表数英立场。
转载请在文章开头和结尾显眼处标注：作者、出处和链接。不按规范转载侵权必究。