要点：
- 稳定 LM 2 1.6B 是一款最先进的 16 亿参数的小型多语言语言模型，使用英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据进行训练。
- 该模型的紧凑尺寸和速度降低了硬件门槛，使更多开发人员能够参与生成式人工智能生态系统。
- 除了预训练和指导调整版本之外，我们在预训练冷却之前发布了最后一个检查点。我们包含了优化器状态，以便开发人员进行微调和实验。数据细节将在即将发布的技术报告中提供。
- 稳定 LM 2 1.6B 现在可以在商业和非商业环境中使用 Stability AI Membership，您可以在 Hugging Face 上测试该模型。
今天，我们推出了新的 Stable LM 2 系列的第一个语言模型：16亿参数的基础模型和一个经过指导调整的版本。基础模型经过两轮训练，使用了大约2万亿个标记，包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语种数据。我们利用了语言建模的最新算法进展，取得了速度和性能之间的有利平衡，使得在中等资源下能够进行快速实验和迭代。
此版本还将提供数据详细信息，以便开放社区可以复现类似性能的模型。与此同时，我们首次发布了最终的预训练检查点，在冷却之前，包括优化器状态，以帮助开发人员顺利继续预训练和微调他们的数据——因为一些最近的预训练模型可能由于后期优化而更难微调。在未来几天，我们将分享一份全面的技术报告，探讨并描述我们遵循的数据混合和训练程序。
模型性能
我们将 Stable LM 2 1.6B 与其他流行的小语言模型进行比较，如微软的 Phi-1.5（1.3B）和 Phi-2（2.7B），TinyLlama 1.1B 或 Falcon 1B。在大多数任务中，它的性能优于 2B 以下的模型，甚至一些更大的模型，在 Open LLM 排行榜中的通用基准测试中，它在测试中表现出紧凑的大小和速度。
Open LLM Leaderboard evaluations. \ Qwen/Qwen-1_8b results are not available at this time_
在多语言文本的明确训练下，对 ARC Challenge、HellaSwag、TruthfulQA、MMLU 和 LAMBADA 的翻译版本表现显示，Stable LM 2 1.6B 的性能明显超过其他模型。
Okapi翻译基准和多语言LAMBADA的单次平均准确性表现。请注意，LAMBADA不包括荷兰语和葡萄牙语。
(按1到10的比例评分)
通过发布迄今为止最强大的小型语言模型之一，并提供其训练细节的完全透明度，我们旨在赋予开发人员和模型创建者快速实验和迭代的能力。需要注意的是，由于小型、低容量语言模型的特性，Stable LM 2 1.6B 可能会出现常见问题，如高幻觉率或潜在的有害语言。我们要求社区在构建应用程序时牢记这一点，并采取适当措施确保他们负责任地开发。
仅限商业和非商业使用
稳定 LM 2 1.6B 是稳定 LM 系列中的第一个模型，属于 稳定人工智能会员资格。该会员资格包括三个不同的会员资格等级，确保任何人，从个人到企业，都能从这项技术中受益。您可以在这里了解更多信息。
通过订阅我们的通讯，及时了解我们的进展，或者通过联系我们了解更多商业应用信息。
在 Twitter、 Instagram、 LinkedIn上关注我们，并加入我们的 Discord 社区。