Tiếp theoHướng dẫn tiếp theo
LAION và bộ dữ liệu mở
Công ty
HƯỚNG DẪN công ty
ServiceNow và StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Lặn sâu
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Triển khai trong thế giới thực
Hỗ trợ các đề xuất tự động hoàn thành và hoàn thành mã bên trong các plugin IDE và tiện ích mở rộng trình chỉnh sửa
Tạo các hàm soạn sẵn, kiểm tra đơn vị và chuỗi tài liệu từ nhận xét bằng ngôn ngữ tự nhiên
Dịch hoặc tái cấu trúc mã giữa các ngôn ngữ lập trình trong cơ sở mã doanh nghiệp
Phục vụ như một trợ lý mã hóa tự lưu trữ cho các tổ chức không thể gửi mã độc quyền tới API đám mây đóng
Tương lai của ServiceNow và StarCoder
Các mô hình mã đang hướng tới quy trình làm việc tổng thể, nơi chúng không chỉ tự động hoàn thành mà còn lập kế hoạch, chạy thử nghiệm và sửa lỗi đầu ra của chính chúng. StarCoder2, được đào tạo trên tập dữ liệu Stack v2 lớn hơn được xây dựng bằng Software Heritage, hướng tới phạm vi ngôn ngữ rộng hơn và nguồn gốc dữ liệu tốt hơn. Mong đợi sự nhấn mạnh liên tục vào dữ liệu đào tạo minh bạch, cơ chế từ chối và sự rõ ràng về cấp phép khi sự giám sát pháp lý đối với các mô hình được đào tạo bằng mã ngày càng tăng, cộng với sự tích hợp chặt chẽ hơn vào các nền tảng dành cho nhà phát triển doanh nghiệp.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chiến lược nhà cung cấp. Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
- Chi phí và ngân sách. Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
- Rủi ro và an toàn. Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
coi chừng
- Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
- Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
- Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Các bước tiếp theo
- Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
- Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
- Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
- Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the ServiceNow and StarCoder quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
ServiceNow và StarCoder là gì?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Hai tổ chức nào đồng lãnh đạo dự án BigCode sản xuất StarCoder?
BigCode là một nỗ lực hợp tác do ServiceNow Research và Hugging Face đồng dẫn đầu để xây dựng các mô hình mã mở, được phát triển có trách nhiệm.
Which dataset was used for StarCoderBase pretraining?
StarCoderBase was pretrained on The Stack, a large collection of permissively licensed source code.
Kỹ thuật đào tạo nào cho phép StarCoder hoàn thành mã bằng cách sử dụng ngữ cảnh trên cả hai mặt của con trỏ?
Quá trình đào tạo Fill-in-the-Middle sắp xếp lại các tài liệu để mô hình học cách tạo ra một khoảng bị thiếu cho ngữ cảnh trước và sau.
Mô hình StarCoderBase hàng đầu có kích thước khoảng bao nhiêu?
StarCoderBase có khoảng 15,5 tỷ tham số, khiêm tốn so với tiêu chuẩn cơ bản nhưng mạnh mẽ về quy mô của nó đối với các tác vụ mã.
StarCoder sử dụng tính năng tối ưu hóa sự chú ý nào để giảm bộ nhớ và tăng tốc độ suy luận?
StarCoder sử dụng tính năng chú ý đến nhiều truy vấn, chia sẻ các phép chiếu khóa và giá trị giữa các phần tử để cắt giảm bộ nhớ và tăng tốc độ suy luận theo ngữ cảnh dài.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này