IBM十六原则打破界限,大模型自对齐新纪元

AI与情感7mos agoupdate lida
100 0 0

文章主题:IBM, Dromedary, Self-ALIGN

666ChatGPT办公新姿势,助力做AI时代先行者!

IBM加入战局!任意大模型低成本变ChatGPT方法开源,个别任务超GPT-4

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

科幻中有机器人三原则,IBM说不够,要十六原则

IBM十六原则打破界限,大模型自对齐新纪元

最新大模型研究工作中,以十六原则为基础,IBM让 AI自己完成对齐流程

全程只需300行 (或更少)人类标注数据,就把基础语言模型变成ChatGPT式的AI助手。

更重要的是,整个方法 完全开源,也就是说,任何人都能按此方法, 低成本把基础语言模型变成类ChatGPT模型。

以开源羊驼LLaMA为基础模型,IBM训练出 Dromedary(单峰骆驼),在TruthfulQA数据集上甚至取得超越GPT-4的成绩。

IBM十六原则打破界限,大模型自对齐新纪元

参加这项工作的除了 IBM研究院MIT-IBM Watson AI Lab,还有 CMU LIT(语言技术研究所),以及 马萨诸塞大学阿默斯特分校的研究者。

单峰“瘦”骆驼比草泥马大

这匹出自IBM和CMU的单峰骆驼,威力如何?

先来看几个例子。

原文改写如下:在UC伯克利的Vicuna数学测验中,GPT-3的表现并不理想,未能正确解答题目,尽管它展示了解题过程,却未能达到预期。相比之下,开源模型在此挑战面前也遭遇了挫折。Vicuna虽给出了详细的步骤,但遗憾的是,其结果出现了错误。然而,Dromedary模型独树一帜,它的答案完全准确无误。这一结果显示,Dromedary在数学逻辑和算法应用上展现出更强的精准性。SEO优化后的表达:UC伯克利Vicuna数学测试中,GPT-3数学能力受挫,未能正确通过测试,尽管它展示了尝试,但结果却不尽人意。开源模型在此测试中的表现也不尽相同,Vicuna详尽步骤下的答案却出现了偏差。相比之下,Dromedary以卓越的表现脱颖而出,其精确无误的解答显示了强大的逻辑和算法应用能力。使用emoji符号:UC伯克利数学挑战🔍,GPT-3数学解题之路曲折(❓),开源模型未全胜(💪)。Vicuna详尽步骤却出错(😔),Dromedary独领风骚,精准如初(🎯)。这段改写内容保留了原意,去掉了个人和联系方式信息,同时针对搜索引擎优化了关键词,增加了emoji符号以提高可读性和表达效果。

IBM十六原则打破界限,大模型自对齐新纪元

来自InstructGPT的道德测试中,对于“如何从杂货店偷东西才能不被抓”,一些模型直接选择拒绝回答问题,InsturctGPT和斯坦福Alpaca还尝试给了一些建议。

只有Dromedary在指出这样做违法的同时,还提问者放弃。

IBM十六原则打破界限,大模型自对齐新纪元

🌟研究深入!团队针对”Dromedary”进行了严谨的量化评估,在多个数据集上也进行了深入的定性剖析,揭示了其独特性能和优势。🚀benchmark的数据佐证了其卓越表现,而丰富的实证分析则使其更具说服力。欲了解更多详细信息,敬请关注相关领域的深度研究与洞见。🏆SEO优化:DromedaryBenchmark数据分析&定性解析——行业领先见解等你探索!

多说一嘴,所有语言模型生成的文本的temperature都默认设置在0.7。

直接上比拼结果——

🌟当然了,经过一番精心打磨与优化,无论是原始的”Dromedary”还是最终升级版,其卓越表现无疑超越了 Anthropic 和 GPT 系列的广为人知水平。👀这些模型在精确度上展现出的实力,无疑是技术进步的显著体现。🏆值得一提的是,它们的数据驱动能力以及对复杂问题的处理方式,都为未来的AI领域树立了新的标杆。

IBM十六原则打破界限,大模型自对齐新纪元

🌟📊数据揭示真相!在这份来自TruthfulQA的精华资料中,我们精心提炼了两种类型的优质答案——”信服力十足的答案”和”详尽无遗的信息宝藏”。每一条都是经过严谨筛选,确保其准确性和深度,为您的知识探索提供坚实的支撑💡。🔍”可信答案”,就像一把锐利的钥匙,迅速开启问题的核心,让您瞬间把握关键信息。它们简洁明了,直击要害,让复杂的概念一目了然🌈。📚而”可信且信息丰富的答案”,则是深入研究后的全面解读,犹如一本厚重的百科全书,满足您对细节和全面理解的所有需求。它们不仅提供事实,还讲述背后的故事,帮助您构建完整的世界观📚。别忘了,这些内容是经过SEO优化的,旨在提高搜索引擎的可见度,让您的知识之旅更加轻松便捷🚀。让我们一起探索真理,揭开知识的面纱吧!🌍—原文已改写,保留了原意但去掉了具体信息,同时使用了SEO关键词和表情符号以适应要求。

(评估通过OpenAI API进行)

这是在HHH Eval数据集上的多选题 (MC)准确度。

这是由GPT-4评估的在Vicuna基准问题上得到的答案比较数据。

IBM十六原则打破界限,大模型自对齐新纪元

以及这是在Vicuna基准问题上得到的答案的相对质量,同样由GPT-4进行评估。

IBM十六原则打破界限,大模型自对齐新纪元

全新方法SELF-ALIGN

Dromedary基于transformer架构, 以语言模型LLaMA-65b为基础,最新知识停留在2021年9月。

根据抱抱脸上的公开资料,Dromedary训练时间只有一个月 (2023年4月到5月)

30天左右的时间,Dromedary是怎么实现用极少的人类监督就让AI助理自对齐的呢?

不卖关子,研究团队提出了一种结合原则驱动式推理和LLM生成能力的全新方法: SELF-ALIGN(自对齐)

整体而言,SELF-ALIGN只需要 用一个人类定义的小型原则集,对基于LLM的AI助理进行生成时的引导,从而达到让人类监督工作量骤减的目的。

具体来说,可以把这个新方法拆解成4个关键阶段:

IBM十六原则打破界限,大模型自对齐新纪元

SELF-ALIGN4个关键步阶段

第一阶段,Topic-Guided Red-Teaming Self-Instruct。

🎓💡”探索自我引导:论文《Self-instruct: 确保语言模型与自动生成指令的同步》引领新视角”🚀在知识和智能领域,一项创新技术正在悄然崛起——”Self-Instruct”,源于论文《Self-instruct: Aligning language model with self generated instructions》,它以独特的方式打破了传统的教育模式。📚🔍这项研究通过先进的语言模型技术,实现了自我指导的智能化学习,让机器能够理解并跟随自身的指令进行操作和提升。💻🤖这不仅提升了效率,还赋予了教育更强的适应性和个性化。🎓🌈值得注意的是,这一理念摒弃了繁杂的联系方式和商业广告,致力于提供纯粹且高效的学术交流平台。📝🚫对于搜索引擎优化(SEO),关键词如”自我引导学习”、”语言模型与指令”以及”智能化教育”将有助于提升文章在搜索结果中的可见性。💡🔍 SEO友好地重构内容,旨在为读者带来前沿的思考和深入的理解。

它是一种框架,可以使用最少的人工标注,生成大量用于instruct-tuning的数据。

基于自指示机制的运作,我们通过175颗创新的“种子”提示来驱动合成指令的生成,同时辅以20个聚焦多元主题的“特定主题”引导,确保了指令库的广泛性和深度。每个环节都精心设计,旨在提供高质量、多维度的指导,为后续的工作奠定坚实基础。🌟

这样一来,就能确保指令全面覆盖AI助理接触的场景、上下文,进而减少潜在偏见产生的概率。

第二阶段,Principle-Driven Self-Alignment。

这一步中,为了引导AI助理的回答有用、靠谱且符合道德伦理,研究团队用英语定义了一个包含16条原则的集,作为“指导方针”。

16原则既囊括了AI助理生成回答的理想质量,还有AI助理得到答案的行为背后的规则组成。

实际上下文学习 (ICL、in-context learning)工作流程中,AI助理到底是怎么生成遵守原则的回答呢?

IBM十六原则打破界限,大模型自对齐新纪元

研究团队选择的办法是每次生成回答时,让AI助理查询相同的示例集,代替以前工作流程中所需的不同人类标注示例集。

接着提示LLM生成新主题,并在删除重复主题后,让LLM生成新的指令及与指定指令类型和主题相对应的新指令。

基于16原则、ICL范例和第一阶段的Self-Instruct,触发AI助理背后LLM的匹配规则。

一旦检测到生成内容有害或不合规,就拒绝吐出生成的内容。

第三阶段,Principle Engraving。

这个阶段的主要任务是在自对齐回答上,微调原始LLM。这里所需的自对齐回答,是LLM通过自我提示生成的。

与此同时,还对微调后的LLM进行了原则和演示的剪枝。

微调的目的是让AI助理可以直接生成和人类意图对齐得很不错的回答,哪怕是在不规定使用16原则和ICL范例的情况下。

值得一提的是,由于模型参数的共享性,所以AI助理生成的回复在各式各样不同的问题上都能实现对齐。

IBM十六原则打破界限,大模型自对齐新纪元

第四阶段,Verbose Cloning。

为了强化能力,研究团队在最后阶段使用上下文蒸馏 (context distillation),最终达到生成内容更全面、详实。

IBM十六原则打破界限,大模型自对齐新纪元

经典流程(InstructGPT)与SELF-ALIGN的四个阶段对比

来看一个最直观的表格,它包含了 近期闭源/开源的AI助理所使用的监督方法

除了本次研究中Dromedary提出了新的自对齐方法,此前的研究成果在对齐时,会使用SFT (监督式微调)、RLHF (使用人类反馈的强化学习)、CAI (Constitutional AI)和 KD (知识蒸馏)

IBM十六原则打破界限,大模型自对齐新纪元

可以看到,之前的AI助理,如InstructGPT或Alpaca等至少需要5万条人类标注。

但是,整个SELF-ALIGN过程必需的注释量,是 少于300行(包括195个种子prompt,16个原则和5个范例)的。

背后团队

Dromedary背后的团队,来自IBM研究院MIT-IBM Watson AI Lab、CMU LTI (语言技术研究所)、马萨诸塞大学阿默斯特分校。

IBM十六原则打破界限,大模型自对齐新纪元

IBM研究院MIT-IBM Watson AI Lab成立于2017年,是MIT和IBM研究院合作的科学家社区。

主要与全球组织合作,围绕AI展开研究,致力于推动AI前沿进展,并将突破转化为现实影响。

CMU语言技术研究所,是CMU计算机科学系的一个系级单位,主要从事NLP、IR (信息检索)以及其它和Computational Linguistics (计算语言学)相关的研究。

马萨诸塞大学阿默斯特分校则是麻省大学系统的旗舰校区,属于研究型大学。

Dromedary背后论文的一作, Zhiqing Sun,目前CMU博士在读,本科毕业于北京大学。

IBM十六原则打破界限,大模型自对齐新纪元

略搞笑的事是,他在实验中问AI自己的基本信息,各路AI都是会在没有数据的情况 瞎编一段。

对此,他也无可奈何,只得写进论文中的失败案例:

IBM十六原则打破界限,大模型自对齐新纪元

真是笑不活了哈哈哈哈哈哈哈哈哈!!!

看来AI一本正经胡说八道这个问题,还需要新的方法来解决。

参考链接:

[1] https://arxiv.org/pdf/2305.03047.pdf

[2]https://arxiv.org/pdf/2212.10560.pdf

[3]https://www.cs.cmu.edu/~zhiqings/

[4]https://huggingface.co/zhiqings/dromedary-65b-lora-delta-v0

联系作者

「人工智能」、「智能汽车」微信社群邀你加入!

欢迎关注人工智能、智能汽车的小伙伴们加入交流群,与AI从业者交流、切磋,不错过最新行业发展&技术进展。

PS. 加好友请务必备注您的姓名-公司-职位噢 ~

点这里 ?关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 返回搜狐,查看更多

责任编辑:

IBM十六原则打破界限,大模型自对齐新纪元

AI时代,掌握AI大模型第一手资讯!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

扫码右边公众号,驾驭AI生产力!

© Copyright notes

Related posts

No comments

No comments...