ServiceNow và StarCoder
StarCoder là một mô hình ngôn ngữ mã mở lớn, được xây dựng bởi ServiceNow Research và Hugging Face thông qua dự án BigCode.
Tổng quan
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
Lặn sâu
StarCoder là một nhóm mô hình tạo mã được BigCode phát hành vào tháng 5 năm 2023, một sự hợp tác do ServiceNow Research và Hugging Face đồng chủ trì. StarCoderBase hàng đầu là mô hình 15,5 tỷ tham số được đào tạo trên khoảng một nghìn tỷ mã thông báo được rút ra từ The Stack, một tập dữ liệu lớn về mã nguồn được cấp phép cho phép trải rộng trên hơn 80 ngôn ngữ lập trình. Một tính năng phân biệt chính là cửa sổ ngữ cảnh 8.000 mã thông báo và đào tạo Điền vào giữa, cho phép nó hoàn thành mã cho cả dòng trước và dòng sau thay vì chỉ dự đoán về phía trước. BigCode nhấn mạnh việc quản trị dữ liệu: nó xuất bản dữ liệu đào tạo, cung cấp công cụ chọn không tham gia cho các nhà phát triển và phát hành mô hình theo giấy phép OpenRAIL-M có trách nhiệm. StarCoder2, được phát hành vào năm 2024, đã mở rộng phạm vi phủ sóng sang hơn 600 ngôn ngữ.
Hiểu biết kỹ thuật
StarCoder sử dụng một biến áp chỉ dành cho bộ giải mã với sự chú ý nhiều truy vấn, chia sẻ các phép chiếu khóa và giá trị giữa các đầu chú ý để giảm mức sử dụng bộ nhớ và tăng tốc độ suy luận ở độ dài ngữ cảnh dài. Nó đã được đào tạo với Fill-in-the-Middle, trong đó các tài liệu được phân chia và sắp xếp lại ngẫu nhiên để mô hình học cách tạo ra một khoảng bị thiếu dựa trên mã xung quanh. Điều này làm cho nó rất phù hợp với tính năng tự động hoàn thành của IDE, trong đó ngữ cảnh tồn tại ở cả hai phía của con trỏ.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của ServiceNow và StarCoder
Các mô hình mã đang hướng tới quy trình làm việc tổng thể, nơi chúng không chỉ tự động hoàn thành mà còn lập kế hoạch, chạy thử nghiệm và sửa lỗi đầu ra của chính chúng. StarCoder2, được đào tạo trên tập dữ liệu Stack v2 lớn hơn được xây dựng bằng Software Heritage, hướng tới phạm vi ngôn ngữ rộng hơn và nguồn gốc dữ liệu tốt hơn. Mong đợi sự nhấn mạnh liên tục vào dữ liệu đào tạo minh bạch, cơ chế từ chối và sự rõ ràng về cấp phép khi sự giám sát pháp lý đối với các mô hình được đào tạo bằng mã ngày càng tăng, cộng với sự tích hợp chặt chẽ hơn vào các nền tảng dành cho nhà phát triển doanh nghiệp.
Triển khai trong thế giới thực
Hỗ trợ các đề xuất tự động hoàn thành và hoàn thành mã bên trong các plugin IDE và tiện ích mở rộng trình chỉnh sửa
Tạo các hàm soạn sẵn, kiểm tra đơn vị và chuỗi tài liệu từ nhận xét bằng ngôn ngữ tự nhiên
Dịch hoặc tái cấu trúc mã giữa các ngôn ngữ lập trình trong cơ sở mã doanh nghiệp
Phục vụ như một trợ lý mã hóa tự lưu trữ cho các tổ chức không thể gửi mã độc quyền tới API đám mây đóng
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
LAION và bộ dữ liệu mở
Câu hỏi thường gặp
What is ServiceNow and StarCoder?
StarCoder là một mô hình ngôn ngữ mã mở lớn, được xây dựng bởi ServiceNow Research và Hugging Face thông qua dự án BigCode. Nó quan trọng vì nó đưa một trợ lý mã hóa được đào tạo minh bạch, được cấp phép dễ dàng đến một lĩnh vực do các mô hình đóng thống trị.
Hai tổ chức nào đồng lãnh đạo dự án BigCode sản xuất StarCoder?
BigCode là một nỗ lực hợp tác do ServiceNow Research và Hugging Face đồng dẫn đầu để xây dựng các mô hình mã mở, được phát triển có trách nhiệm.
Tên của tập dữ liệu mã nguồn được cấp phép cho phép dùng để đào tạo StarCoder là gì?
StarCoder đã được đào tạo về The Stack, một kho mã lớn được cấp phép cho phép trên hơn 80 ngôn ngữ.
Kỹ thuật đào tạo nào cho phép StarCoder hoàn thành mã bằng cách sử dụng ngữ cảnh trên cả hai mặt của con trỏ?
Quá trình đào tạo Fill-in-the-Middle sắp xếp lại các tài liệu để mô hình học cách tạo ra một khoảng bị thiếu cho ngữ cảnh trước và sau.
Mô hình StarCoderBase hàng đầu có kích thước khoảng bao nhiêu?
StarCoderBase có khoảng 15,5 tỷ tham số, khiêm tốn so với tiêu chuẩn cơ bản nhưng mạnh mẽ về quy mô của nó đối với các tác vụ mã.
StarCoder sử dụng tính năng tối ưu hóa sự chú ý nào để giảm bộ nhớ và tăng tốc độ suy luận?
StarCoder sử dụng tính năng chú ý đến nhiều truy vấn, chia sẻ các phép chiếu khóa và giá trị giữa các phần tử để cắt giảm bộ nhớ và tăng tốc độ suy luận theo ngữ cảnh dài.