MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT
2023-06-23 15:03:39    博客园

MosaicML正在推出其第二个开源大型语言模型(LLM),称为MPT-30B,这是继五月份首次推出的较小的MPT-7B模型之后。


(资料图)

为了讨论新模型及其对开发人员的意义,我采访了MosaicML联合创始人兼首席执行官Naveen Rao。他之前的创业公司是Nervana,这是一家深度学习公司,于2016年被英特尔收购,所以他最近在人工智能行业并不重要。

顾名思义,MPT-30B是一个300亿参数模型。该公司声称它在质量上超过了OpenAI的GPT-3,尽管其参数数量约为1/6(GPT-3有1750亿个)。“这意味着MPT-30B更容易在本地硬件上运行,并且部署推理的成本要低得多,”该公司表示。

MosaicML vs. LLaMA 和 Falcon

MPT-30B比其他模型(包括GPT-3,LLaMA和Falcon(每个2,000个令牌)在更长的序列(最多8,000个令牌)上进行训练。根据MosaicML的说法,“它旨在在实践中处理更长的序列,使其非常适合数据密集型企业应用程序。

实际上,这意味着用户可以输入更长的提示。事实上,MosaicML之前的7B参数模型带有一个微调选项,称为MPT-7B-StoryWriter-65k+,具有巨大的65,000“上下文长度”。

“更长的上下文[长度]意味着更灵活的用法,”Rao说。“我们将有微调的版本,特别适合写散文——写更长的输出。

MosaicML平台;通过其公司博客

Rao想要强调的另一个区别是它的注意力机制。当谷歌在2017年发表其著名的关于变压器技术的论文《注意力是你所需要的一切》(Attention Is All You Need)时,它指出,“多头自我注意”是为AI提供突破的训练机制(OpenAI随后借用这一见解来构建GPT)。

“注意力是变压器模型的内在部分,”Rao解释道。“这实际上使他们能够看到一个句子,一个段落或整个文本语料库的联系。

Rao 告诉我,MosaicML 使用了一种名为“闪光注意力”的技术,这是 2022 年一篇学术论文的主题。

“它使你能够更快地进行推理和训练 - Falcon和LLaMA都没有这个,”他说。“因此,从计算的角度来看,我们的方法实际上效率更高。

Rao补充说,新模型更适合企业使用,因为它“大小合适”以“适应实际硬件的限制”。他指出,深度学习GPU通常使用40-80千兆字节的内存。根据Rao的说法,开源的Falcon LLM正在与这种限制作斗争。

“奇怪的是,他们发布的猎鹰模型是一个400亿参数模型。这不太适合 80 GB GPU,因为它正好靠在边缘。

他补充说,它自己的300亿个参数模型更小,以便更好地针对GPU进行优化。“它并没有真正损害我们的性能,它将让你非常轻松地适应80-gGPU,”他说。

Rao声称其新的30B参数模型在性能上也优于LLaMA和Falcon。

“由于我们的效率方法,我们实际上训练的计算比LLaMA和Falcon少。所以训练实际上要便宜得多。但我们基本上是平价的。这取决于评估指标——比如,对于编码,这个模型实际上比这两个模型做得更好。在其他事情上,情况更糟。

当然,LLaMA和Falcon背后的人可能会对此提出异议。但是很难独立验证MosaicML的说法,因为Rao谈到的三个开源LLM项目(MosaicML,LLaMA或Falcon)都没有使用斯坦福大学的HELM措施进行测试。

MosaicML vs. OpenAI

那么MosaicML的模型与OpenAI的GPT-4相比如何呢?Rao 承认 GPT-4 在大多数方面的能力方面都更胜一筹。然而,他重申,MosaicML的模型提供了更长的上下文长度,这允许独特的用例 - 例如生成F. Scott Fitzgerald的著名小说“了不起的盖茨比”的尾声。(题外话:作为一名前英国文学专业的学生,这是我最不想从法学硕士那里得到的东西!

Rao说,像GPT-4这样的大型模型的主要挑战是运行它们的高成本,这使得大多数企业都不切实际。MosaicML还专注于为具有特定数据(包括敏感数据)的公司提供服务,以微调其特定行业的模型。

在用例方面,Rao解释说,医疗保健和银行业等行业可以从MosaicML解释和汇总大量数据的能力中受益。例如,在医学领域,该模型可以解释实验室结果,并通过分析各种输入来提供对患者病史的见解。

Rao强调了开源模型在这些场景中的重要性,因为健康(或实际上是财务)数据的本质需要在防火墙后面进行安全处理,而不是通过API将其发送给OpenAI之类的公司。

开发人员如何使用 MosaicML

我问开发人员如何开始使用MosaicML的平台。Rao回答说,MosaicML提供了各种选择,具体取决于开发人员的需求和专业知识。对于简单的集成,他们提供了一个类似于其他公司(如OpenAI)的API,允许开发人员轻松地将MosaicML的模型整合到他们的前端应用程序中。他声称,与其他提供商的类似规模的模型相比,MosaicML的模型更具成本效益。

开发人员还可以选择通过使用自己的数据对其进行微调来自定义 MosaicML 模型。他们可以下载模型、进行修改,并使用自定义版本创建自己的 API。

对于拥有大量数据的高级开发人员,Rao表示,MosaicML的工具可用于从头开始预训练自定义模型,并使用MosaicML的平台为它们提供服务。

然后我问了MosaicML与流行的第三方工具(如LangChain)的兼容性。

“你通过LangChain获得的所有工具都可以与我们的API一起使用,”他回答道。“真正酷的是,您可以在与我们一起构建的自定义模型之上使用这些工具。因此,我们基本上在定制方面为开发人员提供了令人难以置信的能力——甚至拥有整个模型。您进入该模型的所有数据(权重,所有内容)都归您所有,因此可以完全自定义。这就是我们实现的目标。有了这些API提供商(如OpenAI),你得到的是你所得到的——零定制。

团队开源

尽管在我们的采访中谈到了LLaMA和Falcon,但最终Rao认为他们都在同一个团队中 - 而像OpenAI这样的专有平台才是真正的竞争对手。

“这使权力回到了企业开发人员手中,”他说,关于开源LLM,“将所有这些放在一个集中的地方,在那里你可以得到你得到的东西,这是一个很大的负面结果。

他还坚持认为,开源LLM正在“缩小与这些闭源模型的差距”。他承认,也许还没有完全,但他认为开放的LLM已经“跨越了这些模型实际上非常有用的门槛”。

MosaicML推出30B模型 - 接受LLaMA,Falcon和GPT的帖子首先出现在The New Stack上。

关键词:

下一篇: 中午12点,国际奥委会官宣,陈梦孙颖莎新身份曝光,王曼昱无缘_天天热议
上一篇: 最后一页