欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

两大可商用开源大模型同时发布!性能不输LLaMA,羊驼名字不够了

时间:2023-05-28 04:58:54 | 浏览:22

但LLamA开源了又没全开,只能用于研究用途,还得填申请表格等,也一直被业界诟病。好消息是,两大对标LLaMA的完全开源项目同时有了新进展。可商用开源大模型来了,还一下来了俩:MosaicML推出MPT系列模型,其中70亿参数版在性能测试中

但LLamA开源了又没全开,只能用于研究用途,还得填申请表格等,也一直被业界诟病。

好消息是,两大对标LLaMA的完全开源项目同时有了新进展。

可商用开源大模型来了,还一下来了俩:

MosaicML推出MPT系列模型,其中70亿参数版在性能测试中与LLaMA打个平手。

Together的RedPajama(红睡衣)系列模型,30亿参数版在RTX2070游戏显卡上就能跑。

对于这些进展,特斯拉前AI主管Andrej Karpathy认为,开源大模型生态有了寒武纪大爆发的早期迹象。

MPT,与LLaMA五五开

MPT系列模型,全称MosaicML Pretrained Transformer,基础版本为70亿参数。

MPT在大量数据(1T tokens)上训练,与LLaMA相当,高于StableLM,Pythia等其他开源模型。

支持84k tokens超长输入,并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。

在各类性能评估中,与原版LLaMA不相上下。

除了MPT-7B Base基础模型外还有三个变体。

MPT-7B-Instruct,用于遵循简短指令。

MPT-7B-Chat,用于多轮聊天对话。

MPT-7B-StoryWriter-65k+,用于阅读和编写故事,支持65k tokens的超长上下文,用小说数据集微调。

MosaicML由前英特尔AI芯片项目Nervana负责人Naveen Rao创办。

该公司致力于降低训练神经网络的成本,推出的文本和图像生成推理服务成本只有OpenAI的1/15。

RedPajama,2070就能跑

RedPajama系列模型,在5TB的同名开源数据上训练而来(前面提到的MPT也是用此数据集训练)。

除70亿参数基础模型外,还有一个30亿参数版本,可以在5年前发售的RTX2070游戏显卡上运行。

目前70亿版本完成了80%的训练,效果已经超过了同规模的Pythia等开源模型,略逊于LLamA。

预计在完成1T tokens的训练后还能继续改进。

背后公司Together,由苹果前高管Vipul Ved Prakash,斯坦福大模型研究中心主任Percy Liang,苏黎世联邦理工大学助理教授张策等人联合创办。

开源模型发布后,他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。

One More Thing

来自南美洲的无峰驼类动物一共4种,已被各家大模型用完了。

Meta发布LLaMA之后,斯坦福用了Alpaca,伯克利等单位用了Alpaca,Joseph Cheung等开发者团队用了Guanaco。

以至于后来者已经卷到了其他相近动物,比如IBM的单峰骆驼Dromedary,Databricks的Dolly来自克隆羊多莉。

国人研究团队也热衷于用古代传说中的神兽,如UCSD联合中山大学等推出的白泽。

港中文等推出的凤凰……

最绝的是哈工大基于中文医学知识的LLaMA微调模型,命名为华驼

参考链接:[1] https://www.mosaicml.com/blog/mpt-7b[2]https://www.together.xyz/blog/redpajama-models-v1[3]https://twitter.com/karpathy/status/1654892810590650376?s=20

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

不是说名字太大压不住?郭富城名字“富可敌城”,他一点事都没有

哈喽,大家好我是红莲名字是一个人的代号,伴随着人的一生,所以说取名字特别重要,好的名字会让一个人顺风顺水,并且达到事业的顶峰,并且会让人记住自己,特别是香港明星,取的名字都很好听,用普通话还有粤语来念都非常好听。郭富城郭富城1965年10月

有相同名字的韩国偶像圈,7个K-pop偶像,名字都叫Chimin或Jimin

在K-pop行业开始职业生涯后,偶像们经常使用艺名来区分他们和其他艺人(毕竟韩国偶像艺人太多了)。一些偶像用出生时就用自己的名字作为艺名,而另一些人则取适合他们的艺名。有了这么多的行业偶像,艺人们拥有相同的名字并不奇怪。这里有七个K-pop

除名!造成巨大影响的台风山竹名字“永久停用”,新名字将是啥?

在过去的2018年里,我国遭遇了一个非常活跃的台风季节,在夏季秋季,大量台风生成并影响和登陆我国,其中一些台风还造成了非常大的破坏和灾难。在2018年的台风中,影响最大最深远的当属2018年22号台风山竹了,它又大又强,一度成为17级以上的

名字太大压不住有什么后果?这些明星的名字都是活生生的例子

名字是一个人的称呼,这些演员的名字因为起的太大,所以导致适得其反的效果,第一个就是潘长江,潘长江这个名字取的挺好的,潘长江的父母也希望儿子跟长江一样大气,长江一共有6363千米长。潘长江可是潘长江才1.63米,可以说对不起这个名字了,可以看

绒园和绒宝!小羊驼有名字啦

前几天,我们的节目报道了长春市动植物公园新引进了两只可爱的小羊驼,由于是“初来乍到”,动植物公园也面向社会公开征集它们的名字。最近,姐弟俩的名字也被正式确定。记者 党园:我现在所在的位置是长春市动植物公园,前阶段,园区新引进了两只可爱的小羊

两大可商用开源大模型同时发布!性能不输LLaMA,羊驼名字不够了

但LLamA开源了又没全开,只能用于研究用途,还得填申请表格等,也一直被业界诟病。好消息是,两大对标LLaMA的完全开源项目同时有了新进展。可商用开源大模型来了,还一下来了俩:MosaicML推出MPT系列模型,其中70亿参数版在性能测试中

羊驼为什么叫草泥马 为什么见了羊驼要躲远

近些年国内流行起来养羊驼了,羊驼是一种看上去比较可爱而又呆萌的小动物。网上普遍有一种说法“看见羊驼一定要躲远!!!”为什么看见羊驼要躲远呢?羊驼又为什么被大家称之为草拟马呢?下面就让小编带领大家一起来看看吧!羊驼为什么叫草泥马这个起源于羊驼

没想到羊驼也是虚胖,日本牧场帮羊驼剃毛消暑,就像加了大头特效

现在各地的天气都非常炎热,大部分的网友已经过上了脱离空调就不知道该怎么办的生活。动物们对于这样炎热的天气也是充满了怨言。毕竟有不少动物拥有长长的毛发。而在日本,有一家牧场的主人,为了能够让羊驼们在夏天能够感觉到舒服一点,决定帮它们剪毛。而这

呼和浩特一露营地羊驼和鸵鸟走失,老板:羊驼已找回,鸵鸟仍无消息

极目新闻记者 杨锦英10月24日,内蒙古呼和浩特市一家露营地的老板唐先生向极目新闻反映,自家的羊驼和鸵鸟在前段时间“离家出走”了,如今鸵鸟仍无消息,希望有热心人帮忙提供线索。唐先生的露营地名为“二十四园”,位于呼和浩特市赛罕区古力半村附近。

羊驼立功?新研究报告称羊驼血液中抗体有助中和新冠病毒

据英国《星期日泰晤士报》消息,比利时一项新的研究报告说,羊驼血液中的抗体有助于消灭新冠病毒。据比利时弗拉姆斯生物技术研究所(Vlaams Institute for Biotechnology)的研究人员和美国研究人员的一份报告称:“羊驼血

羊驼大型理发现场!请问这八大袋羊驼毛属于什么垃圾?

【羊驼大型理发现场!请问这八大袋羊驼毛属于什么垃圾?】垃圾分类挑战下周起魔都的最高温度就要连续三字头了!@上海动物园 的羊驼们排队剪毛之后,用清凉造型迎接盛夏的到来。那么,这些剪下来的羊驼毛属于什么垃圾?回答:羊驼毛又名阿尔帕卡,比马海毛更

羊驼立功?新研究报告称羊驼血液中的分子可能会在新冠病毒暴发时起到治疗作用

据英国《星期日泰晤士报》消息,比利时一项新的研究报告说,羊驼血液中的抗体有助于消灭新冠病毒。据比利时弗拉姆斯生物技术研究所(Vlaams Institute for Biotechnology)的研究人员和美国研究人员的一份报告称:“羊驼血

多只羊驼“越狱”在商场内奔跑?羊驼馆:正常巡游,可能受到惊扰

极目新闻记者 周浩商场内,四只羊驼“撒欢式”奔跑,路人纷纷驻足观看。10月13日,发生在山西太原一家商场的这一幕,引起了不少网友好奇。网友猜测,这几只羊驼是不是“越狱”了?该商场神兽羊驼主题馆工作人员称,羊驼并非“越狱”,在商场巡游时有员工

多只羊驼“越狱”在商场内奔跑?羊驼馆:正常巡游,可能受到惊扰

极目新闻记者 周浩视频剪辑 轩逸瑶 重播

羊驼许仙:全网最操心的羊驼,主人都不敢轻易招惹

1.这个羊驼到底有多黏人?它怎么还有分离恐惧症?你敢相信吗?这么威猛可爱的大型动物羊驼最害怕的事竟然是和主人分离?这只叫许仙的羊驼你以为它只有美貌吗?不,它还是铲屎官的黏人精“贴心宝贝”。之所以说黏人,是因为许仙即使是在铲屎官上厕所、做饭或

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈古董拍卖网小红书旅游攻略高姓兔宝宝取名网姑婆山旅游攻略酒吧资讯网三亚婚纱摄影网ai绘画资讯网浙江旅游网挪威旅游网恩施大峡谷旅游攻略扫地机器人评测网今日池州云上黄石新闻网商标注册查询官网韩国旅游攻略网
羊驼宠物网-羊驼又名骆马、驼羊,属哺乳纲骆驼科家畜。羊驼性情温顺,习惯于放牧和圈养,无食草拔根和啃食树木的恶习。羊驼是食草动物,胡萝卜、大白菜、玉米,以及各种水果等等。羊驼是我国目前比较珍稀的一种动物,它的性格非常的温驯,而且特别的有灵性,所以很多的人都非常喜欢羊驼,在加上羊驼它经常喜欢卖萌,非常的可爱。
羊驼宠物网 tailabao.cn ©2022-2028版权所有