什么是StableLM来自Stability AI的开源语言模型

工具软件 Edge插件网 1年前 (2023-08-10) 283次浏览 已收录 0个评论

什么是StableLM来自Stability AI的开源语言模型

在一项开创性的举措中,Stability AI推出了StableLM,这是一种开源语言模型,旨在彻底改变AI领域。这个创新模型目前有 Alpha 版本,有 3 亿和 7 亿个参数,只是一个开始。Stability AI计划在不久的将来推出具有惊人的15亿到65亿个参数的模型

StableLM不仅仅是另一种语言模型。这证明了Stability AI致力于让所有人都可以使用基础AI技术。该模型可以在CC BY-SA-4.0许可证下自由使用和改编用于商业或研究目的,使其成为广泛应用的宝贵工具。

此次发布是在 2022 年发布的Stable Diffusion之后发布的,这是一个开放且可扩展的图像模型,是Stability AI实现 AI 技术民主化使命的延续。StableLM 旨在生成文本和代码,为各种下游应用程序提供支持,并证明小型、高效训练的模型确实可以提供高性能。

“StableLM的发布建立在我们与非营利研究中心EleutherAI开源早期语言模型的经验之上。这些语言模型包括GPT-J,GPT-NeoX和Pythia套件,它们是在The Pile开源数据集上训练的。许多最近的开源语言模型继续建立在这些努力的基础上,包括Cerebras-GPT和Dolly-2。

Stability AI StableLM

Stability AI 在使用 EleutherAI 开源语言模型方面的经验,包括 GPT-J、GPT-NeoX 和 Pythia 套件,对 StableLM 的开发起到了重要作用。该模型是在一个新的实验数据集上进行训练的,该数据集是The Pile开源数据集的三倍,具有1.5万亿个内容令牌。有关此数据集的更多详细信息将在适当的时候发布。

尽管它的尺寸相对较小,但 StableLM 具有很强的冲击力,在对话和编码任务中提供了高性能。除了StableLM之外,Stability AI还发布了经过微调指令的研究模型,结合了五个最新的开源数据集,用于对话代理。但是,这些模型仅供研究使用,并在非商业CC BY-NC-SA 4.0许可证下发布。

开源我们的模型

作为透明度的拥护者,Stability AI仍然坚定不移地致力于开源我们的模型。为什么会这样?因为他们认为理解应该没有障碍,信任应该通过我们工作流程的清晰来培养。通过开源我们的模型,我们有效地拉开了帷幕,允许研究人员和人工智能爱好者进行调查探索。

透明度

这种透明度的主要好处之一是它为研究人员提供了“深入了解”其模型的机会。这仅仅意味着解开复杂性,仔细检查性能,并深入了解 StableLM 模型。这不仅使他们能够验证我们对其性能的声明,而且还加快了开发解释技术的过程,这对于理解这些模型如何得出结论至关重要。

此外,这个过程充当各种预警系统,帮助识别人工智能模型固有的潜在风险。它推动了保障措施的积极发展——先发制人的措施,以遏制和限制不可预见的事件可能引起的任何反弹。这建立了一个强大的系统,优先考虑安全和问责制。

公共和私营部门

Stability AI的开源模型将范围扩大到研究界之外,对公共和私营部门的组织都有好处。它们为这些实体提供了调整或“微调”我们公开可用的模型以适应其各自应用程序的机会。这样,他们就不必共享敏感信息或放弃对其AI功能的控制。他们可以自定义模型以满足其独特要求,而不会影响其数据安全性并维护其 AI 操作的主权。

StableLM社区

简而言之,Stability AI的开源方法不仅可以提高透明度,还可以增强我们社区之间的信任,帮助研究人员进行探索,并允许组织在维护其数据隐私和主权的同时利用预先存在的模型。这加强了我们对有意义的创新的承诺,最终旨在培养一个协作和包容的人工智能生态系统。

除了这些发展之外,Stability AI还将启动一个众包RLHF计划,并与Open Assistant等社区合作,为AI助手创建一个开源数据集。这清楚地表明了Stability AI致力于促进协作和包容性的AI生态系统。有关 StableLM 语言模型的更多信息,请转到 Stability AI 官方网站以获取更多详细信息。语言模型可以从官方 GitHub 存储库下载。

该存储库包含Stability AI正在进行的StableLM系列语言模型的开发,并将通过新的检查点不断更新Stability AI的开发团队说。5 年 2023 月 2 日,发布了具有 3B 和 7B 参数的 StableLM-Alpha v<> 模型补丁。


Edge插件网 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:什么是StableLM来自Stability AI的开源语言模型
喜欢 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址