今天，Stability AI 发布了一种新的开源语言模型 StableLM。该模型的 Alpha 版本有 30 亿和 70 亿参数，后续还有 150 亿到 650 亿参数模型。开发人员可以出于商业或研究目的自由检查、使用和调整我们的 StableLM 基本模型，但要遵守 CC BY-SA-4.0 许可的条款。
2022 年，Stability AI 推动了 Stable Diffusion 的公开发布，这是一种革命性的图像模型，代表了专有 AI 的透明、开放和可扩展的替代方案。随着 StableLM 模型套件的推出，Stability AI 继续让所有人都能使用基础人工智能技术。我们的 StableLM 模型可以生成文本和代码，并将为一系列下游应用程序提供支持。他们展示了小型高效模型如何通过适当的培训提供高性能。
StableLM 的发布建立在我们与非营利性研究中心 EleutherAI 开源早期语言模型的经验之上。这些语言模型包括 GPT-J、GPT-NeoX 和 Pythia 套件，它们在 The Pile 开源数据集上进行了训练。许多最近的开源语言模型继续建立在这些努力的基础上，包括 Cerebras-GPT 和 Dolly-2。
StableLM 在建立在 The Pile 上的新实验数据集上进行训练，但数据集大了三倍，包含 1.5 万亿个内容标记。我们将在适当的时候发布有关数据集的详细信息。这个数据集的丰富性使 StableLM 在会话和编码任务中表现出惊人的高性能，尽管它的参数量很小，只有 3 到 70 亿个（相比之下，GPT-3 有 1750 亿个参数）。
我们还发布了一组经过指令微调的研究模型。最初，这些经过微调的模型将使用五个最近的开源数据集的组合用于会话代理：Alpaca、GPT4All、Dolly、ShareGPT 和 HH。这些经过微调的模型仅供研究使用，并根据非商业 CC BY-NC-SA 4.0 许可发布，符合斯坦福大学的 Alpaca 许可
语言模型将构成我们数字经济的支柱，我们希望每个人都能在他们的设计中发表意见。像 StableLM 这样的模型展示了我们对透明、可访问和支持的 AI 技术的承诺：
透明的。我们开源我们的模型以提高透明度和培养信任。研究人员可以“深入了解”以验证性能、研究可解释性技术、识别潜在风险并帮助制定保障措施。公共和私营部门的组织可以针对自己的应用程序调整（“微调”）这些开源模型，而无需共享敏感数据或放弃对其 AI 功能的控制。
无障碍。我们为边缘设计，以便日常用户可以在本地设备上运行我们的模型。使用这些模型，开发人员可以构建与广泛使用的硬件兼容的独立应用程序，而不是依赖一两家公司的专有服务。通过这种方式，人工智能的经济利益将由广大的用户和开发者社区共享。对我们模型的开放、细粒度访问允许广泛的研究和学术社区开发超越封闭模型的可解释性和安全技术。
支持。我们建立模型来支持我们的用户，而不是取代他们。我们专注于高效、专业和实用的 AI 性能——而不是追求神一般的智能。我们开发的工具可帮助普通人和日常公司使用 AI 来释放创造力、提高生产力并开辟新的经济机会。
这些模型现在在我们的 GitHub 存储库中可用。我们将在不久的将来发布一份完整的技术报告，并期待在我们推出 StableLM 套件时与开发人员和研究人员持续合作。此外，我们将启动众包 RLHF 计划，并与 Open Assistant 等社区合作，为 AI 助手创建一个开源数据集。
官网
https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
