欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

LeCun狂赞:GPT-3.5平替! 斯坦福70亿参数羊驼爆火,LLaMA杀疯了

时间:2023-05-27 21:50:22 | 浏览:65

编辑:编辑部【新智元导读】Meta的LLaMA模型开源,让文本大模型迎来了Stable Diffustion时刻。今天,斯坦福发布了一个由LLaMA 7B微调的模型Alpaca,训练3小时,性能比肩GPT-3.5。一觉醒来,斯坦福大模型Al

编辑:编辑部

【新智元导读】Meta的LLaMA模型开源,让文本大模型迎来了Stable Diffustion时刻。今天,斯坦福发布了一个由LLaMA 7B微调的模型Alpaca,训练3小时,性能比肩GPT-3.5。

一觉醒来,斯坦福大模型Alpaca(草泥马)火了。

没错,Alpaca是由Meta的LLaMA 7B微调而来的全新模型,仅用了52k数据,性能约等于GPT-3.5。

关键是训练成本奇低,不到600美元。具体花费如下:

在8个80GB A100上训练了3个小时,不到100美元;

生成数据使用OpenAI的API,500美元。

斯坦福大学计算机科学副教授Percy Liang称,

由于缺乏透明度/无法完全访问像GPT 3.5这样的有能力的指令模型,进而限制了这一重要领域的学术研究。我们在 Alpaca (LLaMA 7B + text-davinci-003)上迈出了一小步。

看到又有人在自家大模型上取得了新的成果,Yann LeCun疯狂转发(宣传要到位

)。

3小时微调70亿参数,600美元搞定

话不多说,先试用一波。

问:告诉我一些关于羊驼的事情。

答:羊驼是来自南美洲的骆驼品种,与美洲驼和骆驼有关。它们通常因其纤维而被饲养,用于制造奢侈品,如毛衣和毛毯。由于羊驼的温柔和友好的天性,它们也是很受欢迎的宠物。

体验链接:https://crfm.stanford.edu/alpaca/

对于斯坦福的团队来说,想要在预算内训练一个高质量的指令遵循模型,就必须面临2个重要的挑战:要有一个强大的预训练语言模型,以及一个高质量的指令遵循数据。

恰恰,提供给学术研究人员使用的LLaMA模型搞定了第一个问题。

对于第二个挑战,「Self-Instruct: Aligning Language Model with Self Generated Instructions」论文给了很好的启发,即使用现有的强语言模型来自动生成指令数据。

然而,LLaMA模型最大的弱点是缺乏指令微调。OpenAI最大的创新之一就是将指令调优用在了GPT-3上。

对此,斯坦福使用了现有的大语言模型,来自动生成遵循指令演示。

首先从自生成指令种子集中的175个人工编写的「指令-输出」对开始,然后,提示text-davinci-003使用种子集作为上下文示例来生成更多指令。

通过简化生成管道改进了自生成指令的方法,这样大大降低了成本。在数据生成过程中,产生了52K个独特指令和相应的输出,使用OpenAI API的成本不到500美元。

有了这个指令遵循的数据集,研究人员利用Hugging Face的训练框架对LLaMA模型进行微调,利用了完全分片数据并行(FSDP)和混合精度训练等技术。

另外,微调一个7B的LLaMA模型在8个80GB的A100上花了3个多小时,在大多数云计算供应商那里的成本不到100美元。

约等于GPT-3.5

为了评估Alpaca,斯坦福研究人员对自生成指令评价集的输入进行了人工评估(由5位学生作者进行)。

这个评价集是由自生成指令作者收集的,涵盖了多样化的面向用户的指令,包括电子邮件写作、社交媒体和生产力工具等。

他们对GPT-3.5(text-davinci-003)和Alpaca 7B进行了比较,发现这两个模型的性能非常相似。Alpaca在与GPT-3.5的比较中,获胜次数为90对89。

鉴于模型规模较小,且指令数据量不大,取得这个结果已经是相当惊人了。

除了利用这个静态评估集,他们还对Alpaca模型进行了交互式测试,发现Alpaca在各种输入上的表现往往与GPT-3.5相似。

斯坦福用Alpaca进行的演示:

演示一让Alpaca来谈谈自己和LLaMA的区别。

演示二让Alpaca写了一封邮件,内容简洁明了,格式也很标准。

上述例子可以看出,Alpaca的输出结果一般都写得不错,而且答案通常比ChatGPT简短,体现了GPT-3.5较短输出的风格。

当然了,Alpaca表现出语言模型常见的缺陷。

比如,将坦桑尼亚的首都说成了达累斯萨拉姆。实则,1974年之后,多多马是坦桑尼亚的新首都了,达累斯萨拉姆只是坦桑尼亚最大的城市。

撰写周详的论文摘要时,Alpaca传播了错误的信息。

另外,Alpaca可能还存在许多与底层语言模型和指令微调数据相关的局限。然而,Alpaca为我们提供了一个相对轻量级的模型,它可以成为未来研究大模型重要缺陷的基础。

目前,斯坦福仅公布了Alpaca的训练方法和数据,并打算在未来发布模型的权重。

但是,Alpaca是不能用于商业用途,只能用于学术研究。具体原因有三:

1. LLaMA是一个非商业许可的模型,Alpaca是基于该模型生成的;

2. 指令数据是基于OpenAI的text-davinci-003,其使用条款禁止开发与OpenAI竞争的模型;

3. 没有设计足够多的安全措施,所以Alpaca还没有做好广泛使用的准备

除此之外,斯坦福研究人员总结了Alpaca未来研究会有三个方向。

  • 评估:

从HELM(语言模型的整体评估)开始捕捉更多的生成性、遵循指令的场景。

  • 安全:

进一步研究Alpaca的风险,并使用自动红队分组、审计和适应性测试等方法提高其安全性。

  • 理解:

希望能更好地理解模型能力是如何从训练方法中产生的。需要基础模型的什么属性?扩大模型规模时会发生什么?需要指令数据的什么属性?在GPT-3.5上,除了使用自生成指令,还有什么替代方法?

大模型的Stable Diffusion

现在,斯坦福「羊驼」直接被网友奉为「文本大模型的Stable Diffusion」。

Meta的LLaMA模型可以免费给研究人员使用(当然需要申请后)简直利好AI圈友们。

自ChatGPT横空出世以来,让许多人对AI模型的内置限制感到沮丧。这些限制阻止ChatGPT讨论OpenAI认为敏感的话题。

因此,AI社区便希望能够有一个开源大语言模型(LLM),任何人都可以在本地运行而无需审查,也无需向OpenAI支付API费用。

要说这样开源大模型现在也有,比如GPT-J,但美中不足的是需要大量的GPU内存和存储空间。

另一方面,其他开源平替版无法在现成的消费级硬件上拥有GPT-3级别的性能。

2月底,Meta推出了最新的语言模型LLaMA,参数量分别是70亿(7B)、130亿(13B)、330亿(33B)和650亿(65B)。评测结果显示,其13B版本便可以与GPT-3相媲美。

论文地址:https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

虽然Meta向通过申请的研究人员开放源代码,但没想到网友最先在GitHub上泄漏了LLaMA的权重。

自此,围绕LLaMA语言模型的发展呈爆炸式增长。

通常,运行GPT-3需要多个数据中心级A100 GPU,再加上GPT-3的权重不是公开的。

网友纷纷自己「操刀」运行LLaMA模型一时引起了轰动。

通过量化技术对模型大小进行优化,LLaMA现在可以在M1 Mac、较小Nvidia消费者GPU、Pixel 6手机、甚至是树莓派上运行。

网友总结了,从LLaMA的发布到现在,大家利用LLaMA做出的一些成果:

2月24日,LLaMA发布,并在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者;

3月2日,4chan网友泄露了全部的LLaMA模型;

3月10日,Georgi Gerganov创建了llama.cpp工具,可以在搭载M1/M2芯片的Mac上运行LLaMA;

3月11日:通过llama.cpp可以在4GB RaspberryPi上运行7B模型,但速度比较慢,只有10秒/token;

3月12日:LLaMA 7B在一个node.js执行工具NPX上成功运行;

3月13日:llama.cpp可以在Pixel 6手机上运行;

而现在,斯坦福Alpaca「羊驼」发布。

One More Thing

项目没放出多久,Alpaca火爆到直接不能用了....

许多网友吵吵,点「生成」没反应,还有的在排队等玩儿。

参考资料:

https://simonwillison.net/2023/Mar/13/alpaca/

https://crfm.stanford.edu/2023/03/13/alpaca.html

相关资讯

清华大学教授陶建华:ChatGPT和GPT-4胜出基于四个方面

每经记者:杨煜 每经编辑:张海妮今日(4月8日),由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。CAAI元宇宙技术专委会主任、清华大学教授、国家杰青获得者陶建华出席并演讲。陶建华表示,ChatGPT和GPT-4

马斯克成立人工智能公司X.AI:对抗ChatGPT 已买1万个GPU

雷递网 雷建平 4月15日根据内华达州的一份文件,特斯拉CEO埃隆·马斯克 (Elon Musk) 已经成立了一家名为X.AI Corp的新人工智能公司。马斯克为X.AI Corp的唯一董事,而贾里德伯查尔,马斯克家族办公室的董事则是其秘书

羊驼开源大模型把ChatGPT逼上梁山?推演大模型的竞争终局!

近日有消息传出,OpenAI 即将发布一款最新的开源语言大模型。这个距离其将 GPT-2开源,已经整整过去4年了。OpenAI 为什么选择在这个时间点?又为什么选择开源呢?草蛇灰线,伏脉千里。让我们一探究竟。微软&OpenAI帝国的一道裂缝

LeCun狂赞:GPT-3.5平替! 斯坦福70亿参数羊驼爆火,LLaMA杀疯了

编辑:编辑部【新智元导读】Meta的LLaMA模型开源,让文本大模型迎来了Stable Diffustion时刻。今天,斯坦福发布了一个由LLaMA 7B微调的模型Alpaca,训练3小时,性能比肩GPT-3.5。一觉醒来,斯坦福大模型Al

GPT盘点的郑州最贵的十个楼盘,老板们来看一下有你家没!

1. 中州壹号位于郑东新区黄河东路,毗邻CBD商业区,是郑州市中心地段最具高端商业价值的楼盘之一。小区拥有世界级豪华物业服务,高端私人会所,超高层公寓等多种精致的住宅产品,加之业主优越的社交背景和优质的物业服务,成为郑州最贵的楼盘之一。2.

ChatGPT:如果中国大陆武力收复台湾,美国有哪些可能的军事行动?

如果中国大陆开始武力收复台湾,美国有哪些可能的军事行动?首先需要指出的是,美国在台海地区的军事行动将会涉及到一系列的复杂问题,包括国际法、地缘政治、军事策略等方面。因此,我只能提供一些大体上的可能性,但具体情况需要根据实际情况进行评估。在这

一周国际财经|“围剿”ChatGPT:8国“出手”,18000人签名;专家警告:AI自我迭代更可怕;多国央行加息“踩刹车”;“北溪爆炸案”现4条新线索

每经记者:李孟林 蔡鼎 谭玉涵 每经编辑:谭玉涵,兰素英因强大功能而爆红的ChatGPT正因数据隐私和安全风险在全球掀起一场监管风暴。一周之内,意大利、德国、法国、爱尔兰等8国相继“出手”。此外,它还可能面临全球首例AI诽谤诉讼。据悉,马斯

今日数据精选:1.8万人呼吁暂停ChatGPT;新冠由实验室引入极不可能

中疾控:新冠病毒由实验室引入是“极不可能”的4月8日,国新办举行我国新冠溯源研究情况新闻发布会。发布会上,中国疾控中心研究员周蕾表示,关于新冠病毒的起源,中疾控研究结果表明,通过实验室引入是“极不可能”的。对于新冠病毒的起源,周蕾表示,我国

早财经|ChatGPTPlus突然停售;“索要千万逼死老公案”一审宣判;上市公司两任董事长同日被“双开”

每经记者:王帆 每经编辑:孙志成,张杨运,张喜威,盖源源NO.1 市场消息北京时间4月6日凌晨,美股三大指数收盘涨跌不一,纳指跌1.07%,标普500指数跌0.25%,道指涨0.24%。特斯拉跌3.75%,日线三连跌,累跌10.65%。大型

早财经丨突发!美军称无人机被俄击落,俄方回应;GPT-4发布!考试超过90%人类;华为辟谣开发芯片堆叠方案

每经记者:王琳 每经编辑:孙志成,胡玲,王晓波,盖源源NO.1 国务院总理李强3月14日主持召开新一届国务院第一次常务会议,研究国务院机构设置有关工作,讨论《国务院工作规则(修订稿)》。新一届国务院开始全面履职。会议审议通过了国务院直属特设

超1.8万人签名呼吁暂停ChatGPT,专家警告AI自我迭代更可怕;多国央行加息“踩刹车”;“北溪爆炸案”现新线索|一周国际财经

每经记者:李孟林 蔡鼎 谭玉涵 每经编辑:谭玉涵,兰素英,卢祥勇,易启江因强大功能而爆红的ChatGPT正因数据隐私和安全风险在全球掀起一场监管风暴。一周之内,意大利、德国、法国、爱尔兰等8国相继“出手”。此外,它还可能面临全球首例AI诽谤

早财经|ChatGPTPlus突然停售;“索要千万逼死老公案”一审宣判;徐翔离婚案判了!法院不予支持;上市公司两任董事长同日被“双开”

每经编辑:张杨运,张喜威NO.1 市场消息北京时间4月6日凌晨,美股三大指数收盘涨跌不一,纳指跌1.07%,标普500指数跌0.25%,道指涨0.24%。特斯拉跌3.75%,日线三连跌,累跌10.65%。大型科技股普遍下跌,亚马逊跌超2%,

清华大学长聘副教授黄民烈:ChatGPT无法实现非0即1的精确计算

每经记者:杨煜 每经编辑:张海妮今日(4月8日),由中国人工智能学会主办的“人工智能大模型技术高峰论坛”主论坛在杭州萧山启幕。论坛上,清华大学长聘副教授、聆心智能创始人、国家杰青获得者黄民烈发表了演讲。黄民烈表示,ChatGPT存在不足和缺

ChatGPT告诉我的世界十大名表,竟然没有劳力士?大家看看靠谱不

今天问了ChatGPT世界十大名表,发现竟然没有劳力士。。。感觉不可思议啊!大家看看这个回答靠谱不?百达翡丽(Patek Philippe):创立于1839年,是全球最古老的高级腕表品牌之一,以卓越的技术和精湛的工艺著称。2.爱彼(Aud

ChatGPT:十款最好的山地车

十款最好的山地车1、巨鹰 AM1000优点:车架强度高、性能稳定、配置较高、适合多种地形骑行。缺点:价格相对较高。2、美利达 XC700优点:轻便、速度快、稳定性好、适合山地越野和公路骑行。缺点:悬架性能一般。3、捷安特 ATX 27.5优

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈速比涛泳镜微波炉品牌大全网刘三姐故里景区奢侈品二手回收网赵今麦影迷网湄洲岛旅游网南宁交友相亲网上海高端交友网谜语大全网今日运城仰望汽车评测网贵州青酒网欧米茄腕表vivo手机评测网攀枝花今日新闻网
羊驼宠物网-羊驼又名骆马、驼羊,属哺乳纲骆驼科家畜。羊驼性情温顺,习惯于放牧和圈养,无食草拔根和啃食树木的恶习。羊驼是食草动物,胡萝卜、大白菜、玉米,以及各种水果等等。羊驼是我国目前比较珍稀的一种动物,它的性格非常的温驯,而且特别的有灵性,所以很多的人都非常喜欢羊驼,在加上羊驼它经常喜欢卖萌,非常的可爱。
羊驼宠物网 tailabao.cn ©2022-2028版权所有