Stability AI hôm nay (17/1/2024) đã công bố phát hành Stable Code 3B , một hệ thống AI ba tỷ tham số được nâng cấp để tạo và hoàn thành mã tự động. Và là Large Language Model (LLM) – mô hình ngôn ngữ lớn đầu tiên của năm 2024.
LLM mới này là phiên bản kế nhiệm Stable Code Alpha 3B được phát hành trước đó và là bản phát hành Stable Code chính thức đầu tiên, cung cấp một mô hình mới nhất được thiết kế để hoàn thành mã lập trình với nhiều khả năng bổ sung.
Với các cải tiến như kích thước ngữ cảnh lớn hơn và chất lượng hoàn thiện tốt hơn, Stable Code 3B nhằm đẩy mạnh giới hạn của việc phát triển phần mềm hỗ trợ AI.
Với chỉ ba tỷ tham số, Stable Code 3B được thiết kế để chạy hiệu quả trên các phần cứng sẵn có như laptop, thậm chí cả những chiếc máy tính không có GPU chuyên dụng và không giống các mô hình lớn hơn đòi hỏi các chip chuyên dụng đắt tiền. Mặc dù kích thước nhỏ hơn, Stability AI tuyên bố nó ngang bằng hoặc vượt qua chất lượng hoàn thiện mã của các mô hình gấp hơn hai lần kích thước của nó.
Điểm chính:
- Stable Code 3B là một Large Language Model (LLM) có 3 tỷ tham số, cho phép hoàn thành mã chính xác và phản hồi ở mức tương đương với các mô hình như CodeLLaMA 7b lớn hơn 2,5 lần.
- Hoạt động ngoại tuyến ngay cả khi không có GPU trên các laptop phổ biến như MacBook Air.
Hệ thống này được xây dựng trên mô hình ngôn ngữ tự nhiên Stable LM của Stability AI. Nó bao gồm 18 ngôn ngữ lập trình như Python, JavaScript, Java, C++ và Go…
Quá trình huấn luyện mô hình đã được tối ưu hóa thông qua việc kết hợp Rotary Position Embeddings (RoPE), mở rộng kích thước ngữ cảnh để cải thiện hiệu suất. Kỹ thuật này, cũng được sử dụng bởi Llama 2 Long của Meta, cho phép độ dài ngữ cảnh lên tới 100k token.
Ngoài việc đề xuất các dòng mã mới, nó còn có năng lực điền vào các phần lớn còn thiếu trong mã hiện có. Khả năng nâng cao này được gọi là Fill in the Middle (FIM) và cho phép nó tự động viết cả hàm hay các thành phần.
So sánh hiệu suất
So sánh song song khả năng hoàn thành mã của Stable Code 3B với CodeLLama 7B
Lĩnh vực trí tuệ nhân tạo đã và đang thu hút sự quan tâm đặc biệt từ những gã khổng lồ công nghệ như Microsoft, OpenAI và Meta. Stability AI tuyên bố Stable Code 3B vượt trội hơn StarCoder trên các ngôn ngữ lập trình Python, C++, JavaScript, Java, PHP và Rust.
Stable Code 3B đang được cung cấp cho mục đích thương mại như một phần của dịch vụ đăng ký thành viên mới của Stability AI được công bố lần đầu tiên vào tháng 12/2023.
Các thành viên có quyền truy cập vào Stable Code 3B cùng với các công cụ AI khác trong danh mục của Stability AI, bao gồm các công cụ tạo hình ảnh khuếch tán ổn định SDXL , StableLM Zephyr 3B để tạo nội dung văn bản, âm thanh, video.
Với các hệ thống như Stable Code 3B sẽ giúp cho con người nâng cao khả năng tự động hóa các tác vụ mã hóa, các nhà phát triển phần mềm sẽ có cơ hội để làm việc năng suất hơn, sáng tạo hơn và có thể tập trung nỗ lực vào những thách thức phức tạp hơn.
Đức Anh
