今日、2024年の最初の大規模言語モデルリリースを発表します：Stable Code 3B。この新しいLLMは、以前にリリースされたStable Code Alpha 3Bに続くものであり、最初の主要なStable Codeリリースであり、複数の追加機能を備えた新しい最先端モデルを提供し、コード補完に設計されています。
CodeLLaMA 7bと比較して、Stable Code 3Bはサイズが60%小さくなっており、プログラミング言語全般で同様の高レベルのパフォーマンスを実現しています。私たちの既存のStable LM 3B基盤モデルは、自然言語データの4兆トークンでトレーニングされており、Stable Codeはさらにコードを含むソフトウェアエンジニアリング特有のデータでトレーニングされました。モデルのコンパクトなサイズにより、専用のGPUを搭載していないモダンなノートパソコンでも、エッジでリアルタイムにプライベートに実行することができます。
Stable Code 3Bは、追加の機能と著しく向上したパフォーマンスを提供し、Fill in the Middle機能（FIM）や拡張されたコンテキストサイズのサポートなどの追加の利点を持っています。ベースとなるStable Codeは、最大16,384トークンのシーケンスでトレーニングされていますが、CodeLlamaと同様の手法を採用しており、Rotary Embeddingsの実装により、ロータリーベースを最大1,000,000まで変更することができ、モデルのコンテキスト長を最大100kトークンまで拡張することができます。
Stable Codeは18のプログラミング言語でトレーニングされており、MultiPL-Eメトリクスにおいて、類似サイズのモデルと比較して、複数のプログラミング言語で最先端のパフォーマンスを示しています（2023 StackOverflow Developer Surveyに基づいて選択されました）。
パフォーマンス比較
安定したコード補完3BとCodeLLama 7Bの比較
トレーニングの洞察
当社のトレーニングパイプラインは、Codellamaに類似した多段階プロセスで構成されています。私たちは、自然言語データで事前にトレーニングされたLM（この場合、StableLM-3B-4e1t）から始め、CommitPack、GitHub Issues、StarCoderなどの複数のコードおよびコード関連データセットでの教師なしの微調整を行います。第二段階では、CodeLLamaで提案されたベースの変更を含む16,384トークンの長いシーケンスでモデルをさらに微調整します。新しい安定コードモデルはFlash Attention 2をサポートし、使用可能です。
Further references to the data and model can be found in our model card. We will release a full technical report with additional details and ablations to be more transparent and open to the community.
商用アプリケーション
ニュースレターにサインアップして、進捗状況を最新情報でご確認いただくか、こちらからお問い合わせいただくことで商業利用に関する詳細をご覧いただけます。
Follow us on Twitter, Instagram, LinkedIn, and join our Discord Community.