时间：2023-05-28 04:58:54 | 浏览：14
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。
好消息是，两大对标LLaMA的完全开源项目同时有了新进展。
可商用开源大模型来了，还一下来了俩：
MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。
Together的RedPajama（红睡衣）系列模型，30亿参数版在RTX2070游戏显卡上就能跑。
对于这些进展，特斯拉前AI主管Andrej Karpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。
MPT系列模型，全称MosaicML Pretrained Transformer，基础版本为70亿参数。
MPT在大量数据（1T tokens）上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。
支持84k tokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
在各类性能评估中，与原版LLaMA不相上下。
除了MPT-7B Base基础模型外还有三个变体。
MPT-7B-Instruct，用于遵循简短指令。
MPT-7B-Chat，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65k tokens的超长上下文，用小说数据集微调。
MosaicML由前英特尔AI芯片项目Nervana负责人Naveen Rao创办。
该公司致力于降低训练神经网络的成本，推出的文本和图像生成推理服务成本只有OpenAI的1/15。
RedPajama系列模型，在5TB的同名开源数据上训练而来（前面提到的MPT也是用此数据集训练）。
除70亿参数基础模型外，还有一个30亿参数版本，可以在5年前发售的RTX2070游戏显卡上运行。
目前70亿版本完成了80%的训练，效果已经超过了同规模的Pythia等开源模型，略逊于LLamA。
预计在完成1T tokens的训练后还能继续改进。
背后公司Together，由苹果前高管Vipul Ved Prakash，斯坦福大模型研究中心主任Percy Liang，苏黎世联邦理工大学助理教授张策等人联合创办。
开源模型发布后，他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。
来自南美洲的无峰驼类动物一共4种，已被各家大模型用完了。
Meta发布LLaMA之后，斯坦福用了Alpaca，伯克利等单位用了Alpaca，Joseph Cheung等开发者团队用了Guanaco。
以至于后来者已经卷到了其他相近动物，比如IBM的单峰骆驼Dromedary，Databricks的Dolly来自克隆羊多莉。
国人研究团队也热衷于用古代传说中的神兽，如UCSD联合中山大学等推出的白泽。
港中文等推出的凤凰……
最绝的是哈工大基于中文医学知识的LLaMA微调模型，命名为华驼。
参考链接：[1] https://www.mosaicml.com/blog/mpt-7b[2]https://www.together.xyz/blog/redpajama-models-v1[3]https://twitter.com/karpathy/status/1654892810590650376?s=20
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
哈喽，大家好我是红莲名字是一个人的代号，伴随着人的一生，所以说取名字特别重要，好的名字会让一个人顺风顺水，并且达到事业的顶峰，并且会让人记住自己，特别是香港明星，取的名字都很好听，用普通话还有粤语来念都非常好听。郭富城郭富城1965年10月
在K-pop行业开始职业生涯后，偶像们经常使用艺名来区分他们和其他艺人(毕竟韩国偶像艺人太多了）。一些偶像用出生时就用自己的名字作为艺名，而另一些人则取适合他们的艺名。有了这么多的行业偶像，艺人们拥有相同的名字并不奇怪。这里有七个K-pop
在过去的2018年里，我国遭遇了一个非常活跃的台风季节，在夏季秋季，大量台风生成并影响和登陆我国，其中一些台风还造成了非常大的破坏和灾难。在2018年的台风中，影响最大最深远的当属2018年22号台风山竹了，它又大又强，一度成为17级以上的
名字是一个人的称呼，这些演员的名字因为起的太大，所以导致适得其反的效果，第一个就是潘长江，潘长江这个名字取的挺好的，潘长江的父母也希望儿子跟长江一样大气，长江一共有6363千米长。潘长江可是潘长江才1.63米，可以说对不起这个名字了，可以看
前几天，我们的节目报道了长春市动植物公园新引进了两只可爱的小羊驼，由于是“初来乍到”，动植物公园也面向社会公开征集它们的名字。最近，姐弟俩的名字也被正式确定。记者 党园：我现在所在的位置是长春市动植物公园，前阶段，园区新引进了两只可爱的小羊
但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。好消息是，两大对标LLaMA的完全开源项目同时有了新进展。可商用开源大模型来了，还一下来了俩：MosaicML推出MPT系列模型，其中70亿参数版在性能测试中
近些年国内流行起来养羊驼了，羊驼是一种看上去比较可爱而又呆萌的小动物。网上普遍有一种说法“看见羊驼一定要躲远！！！”为什么看见羊驼要躲远呢？羊驼又为什么被大家称之为草拟马呢？下面就让小编带领大家一起来看看吧！羊驼为什么叫草泥马这个起源于羊驼
现在各地的天气都非常炎热，大部分的网友已经过上了脱离空调就不知道该怎么办的生活。动物们对于这样炎热的天气也是充满了怨言。毕竟有不少动物拥有长长的毛发。而在日本，有一家牧场的主人，为了能够让羊驼们在夏天能够感觉到舒服一点，决定帮它们剪毛。而这
极目新闻记者 杨锦英10月24日，内蒙古呼和浩特市一家露营地的老板唐先生向极目新闻反映，自家的羊驼和鸵鸟在前段时间“离家出走”了，如今鸵鸟仍无消息，希望有热心人帮忙提供线索。唐先生的露营地名为“二十四园”，位于呼和浩特市赛罕区古力半村附近。
据英国《星期日泰晤士报》消息，比利时一项新的研究报告说，羊驼血液中的抗体有助于消灭新冠病毒。据比利时弗拉姆斯生物技术研究所（Vlaams Institute for Biotechnology）的研究人员和美国研究人员的一份报告称：“羊驼血
【羊驼大型理发现场！请问这八大袋羊驼毛属于什么垃圾？】垃圾分类挑战下周起魔都的最高温度就要连续三字头了！@上海动物园 的羊驼们排队剪毛之后，用清凉造型迎接盛夏的到来。那么，这些剪下来的羊驼毛属于什么垃圾？回答：羊驼毛又名阿尔帕卡，比马海毛更
据英国《星期日泰晤士报》消息，比利时一项新的研究报告说，羊驼血液中的抗体有助于消灭新冠病毒。据比利时弗拉姆斯生物技术研究所（Vlaams Institute for Biotechnology）的研究人员和美国研究人员的一份报告称：“羊驼血
极目新闻记者 周浩商场内，四只羊驼“撒欢式”奔跑，路人纷纷驻足观看。10月13日，发生在山西太原一家商场的这一幕，引起了不少网友好奇。网友猜测，这几只羊驼是不是“越狱”了？该商场神兽羊驼主题馆工作人员称，羊驼并非“越狱”，在商场巡游时有员工
极目新闻记者 周浩视频剪辑 轩逸瑶 重播
1.这个羊驼到底有多黏人？它怎么还有分离恐惧症？你敢相信吗？这么威猛可爱的大型动物羊驼最害怕的事竟然是和主人分离？这只叫许仙的羊驼你以为它只有美貌吗？不，它还是铲屎官的黏人精“贴心宝贝”。之所以说黏人，是因为许仙即使是在铲屎官上厕所、做饭或
