首页AI 新闻
一键解锁语言生成魔力!Stability AI 首发 StableLM 系列语言模型!
2

一键解锁语言生成魔力!Stability AI 首发 StableLM 系列语言模型!

好说新闻
好说新闻
2023-04-20 11:07

今天,Stability AI发布了一款名为StableLM的新开源语言模型。该模型的α版本已经提供了30亿和70亿个参数,随后还将推出150亿到650亿个参数的模型。开发人员可以自由地检查、使用和适应我们的StableLM基础模型,用于商业或研究目的,但需遵守CC BY-SA-4.0许可证的条款。

在2022年,Stability AI推动了革命性的图像模型Stable Diffusion的公开发布,该模型代表了专有AI的透明、开放和可扩展的替代方案。随着StableLM一系列模型的推出,Stability AI正在继续让基础AI技术为所有人所使用。我们的StableLM模型可以生成文本和代码,并将驱动一系列下游应用。它们展示了小型和高效的模型如何在适当的训练下实现高性能。

StableLM的推出基于我们与非营利性研究中心EleutherAI共同开源早期语言模型的经验。这些语言模型包括GPT-J、GPT-NeoX和Pythia套件,它们都是在The Pile开源数据集上进行训练的。许多最近的开源语言模型继续在这些努力的基础上进行改进,包括Cerebras-GPT和Dolly-2。

StableLM是在一个新的实验数据集上进行训练的,该数据集是基于The Pile构建的,但是规模是原版数据集的三倍,拥有1.5万亿个内容标记。我们将在适当的时候公布数据集的详细信息。尽管StableLM只有30到70亿个参数(相比之下,GPT-3有1750亿个参数),但该数据集的丰富性使其在对话和编码任务方面表现出惊人的高性能。

此外,我们还发布了一组已经进行指令微调的研究模型。最初,这些微调模型将使用最近发布的五个开源对话代理数据集的组合:Alpaca、GPT4All、Dolly、ShareGPT和HH。这些微调模型仅供研究使用,并在符合斯坦福大学的Alpaca许可证的非商业CC BY-NC-SA 4.0许可证下发布。

请查看下面由我们70亿个参数微调模型生成的一些示例:

语言模型将成为数字经济的支柱,我们希望每个人都参与其设计。像StableLM这样的模型展示了我们对透明、可访问和支持性的AI技术的承诺:

透明。我们开源我们的模型,以促进透明度并建立信任。研究人员可以“查看内部机制”,验证性能,开发可解释性技术,识别潜在风险,并帮助开发安全措施。公共和私营部门的组织可以将这些开源模型适应(“微调”)为自己的应用程序,而无需共享其敏感数据或放弃对其AI能力的控制。

可访问。我们专为Edge浏览器设计,使日常用户可以在本地设备上运行我们的模型。使用这些模型,开发人员可以构建与广泛可用硬件兼容的独立应用程序,而不是依赖于来自一两家公司的专有服务。通过这种方式,AI的经济效益由广泛的用户和开发者社区共享。对我们的模型的开放、精细访问,允许广泛的研究和学术界别进一步开发可解释性和安全性技术,超越了封闭模型所能达到的。

支持性。我们构建模型以支持用户,并非替代他们。我们专注于高效、专业和实用的AI性能——而不是追求类似上帝般的智能。我们开发的工具可以帮助普通人和普通企业使用AI来发掘创造力、提高生产力和开创新的经济机遇。

这些模型现在在我们的GitHub仓库中可用。我们将在不久的将来发布完整的技术报告,并期待与开发人员和研究人员持续协作,推出StableLM套件。此外,我们将启动我们的众包RLHF计划,并与Open Assistant等社区项目合作,创建用于AI助手的开源数据集。

我们将很快发布更多的模型,并扩大我们的团队。如果您热衷于推动此技术的民主化,并且有LLMs的经验,请在这里申请!

转载自查看原文

全部讨论

no data来都来了,坐下聊聊