Hôm nay, chúng tôi công bố phiên bản Mô hình Ngôn ngữ Lớn đầu tiên của chúng tôi trong năm 2024: Stable Code 3B. Mô hình LLM mới này là một bản cập nhật của phiên bản trước đó Stable Code Alpha 3B và là phiên bản chính đầu tiên của Stable Code, cung cấp một mô hình mới tiên tiến được thiết kế cho việc hoàn thành mã với nhiều khả năng bổ sung.
So với CodeLLaMA 7b, Stable Code 3B nhỏ gọn hơn 60% trong khi vẫn đạt hiệu suất cấp cao tương tự trên các ngôn ngữ lập trình. Dựa trên mô hình cơ bản Stable LM 3B đã được huấn luyện trên 4 nghìn tỷ token dữ liệu ngôn ngữ tự nhiên, Stable Code tiếp tục được huấn luyện trên dữ liệu cụ thể về kỹ thuật phần mềm, bao gồm mã nguồn. Kích thước nhỏ gọn của mô hình cho phép chạy nó một cách riêng tư trên các thiết bị cạnh tranh trong thời gian thực trên các laptop hiện đại, thậm chí là những laptop không có GPU riêng.