NastępnyNastępny poradnik
LAION i otwarte zbiory danych
Firmy
PRZEWODNIK FIRM
ServiceNow i StarCoder
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Głębokie nurkowanie
The 2023 BigCode paper introduced StarCoderBase and StarCoder as 15.5-billion-parameter code models with an 8,000-token context. StarCoderBase was pretrained on about one trillion tokens from The Stack, and StarCoder was produced by further fine-tuning StarCoderBase on 35 billion Python tokens. The paper describes fill-in-the-middle training, multi-query attention, data documentation, opt-out mechanisms, and release under BigCode’s OpenRAIL-M license. StarCoder2 is a later, separate model family introduced in 2024.
Implementacja w świecie rzeczywistym
Zasilanie sugestiami autouzupełniania i uzupełniania kodu we wtyczkach IDE i rozszerzeniach edytora
Generowanie standardowych funkcji, testów jednostkowych i dokumentów na podstawie komentarza w języku naturalnym
Tłumaczenie lub refaktoryzacja kodu pomiędzy językami programowania w ramach bazy kodu przedsiębiorstwa
Pełnienie funkcji samodzielnego asystenta kodowania dla organizacji, które nie mogą wysyłać zastrzeżonego kodu do interfejsów API w zamkniętej chmurze
Przyszłość ServiceNow i StarCoder
Modele kodu zmierzają w stronę agentycznych przepływów pracy, w których nie tylko autouzupełniają, ale planują, uruchamiają testy i naprawiają własne wyniki. StarCoder2, przeszkolony na większym zestawie danych Stack v2 zbudowanym w ramach Software Heritage, wskazuje na szerszy zakres języków i lepsze pochodzenie danych. Należy spodziewać się ciągłego nacisku na przejrzyste dane szkoleniowe, mechanizmy rezygnacji i przejrzystość licencji w miarę wzrostu kontroli prawnej modeli wytrenowanych na podstawie kodu, a także ściślejszej integracji z platformami programistów dla przedsiębiorstw.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Strategia dostawcy. Plany dostawców wpływają na to, jakie funkcje Twój zespół będzie mógł dalej tworzyć.
- Koszt i budżet. Warunki handlowe i opcje wdrożenia wpływają na długoterminowe koszty i ryzyko.
- Ryzyko i bezpieczeństwo. Zachęty firmowe kształtują wady produktów, postawę bezpieczeństwa i otwartość.
Uważaj na
- Ogłoszenia o wprowadzeniu na rynek mogą przekroczyć stabilność w rzeczywistych przepływach pracy.
- Ceny interfejsów API lub zmiany zasad mogą z dnia na dzień złamać założenia.
- Zależność od jednego dostawcy zwiększa koszty uzależnienia i migracji.
Kolejne kroki
- Oceniaj dostawców, korzystając z własnych zadań i zbiorów danych.
- Przed integracją przejrzyj warunki dotyczące prywatności, bezpieczeństwa i prawa.
- Utrzymuj plan awaryjny dla różnych modeli i dostawców.
- Monitoruj informacje o wersji, aby zmiany w planie działania nie zaskoczyły zespołów.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the ServiceNow and StarCoder quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Czym są ServiceNow i StarCoder?
The original StarCoder models were developed by the BigCode collaboration, co-led by ServiceNow Research and Hugging Face. Their paper documents training data and model capabilities, while the OpenRAIL-M license permits use subject to stated restrictions.
Które dwie organizacje współkierowały projektem BigCode, w wyniku którego powstał StarCoder?
BigCode to wspólny projekt ServiceNow Research i Hugging Face, którego celem było zbudowanie otwartych, odpowiedzialnie opracowanych modeli kodu.
Który zbiór danych został użyty do wstępnego szkolenia StarCoderBase?
StarCoderBase został wstępnie przeszkolony w The Stack, dużym zbiorze kodu źródłowego licencjonowanego zezwalająco.
Jaka technika uczenia pozwala StarCoderowi uzupełniać kod przy użyciu kontekstu po obu stronach kursora?
Szkolenie typu „wypełnij środek” zmienia kolejność dokumentów, dzięki czemu model uczy się generować brakujący zakres, biorąc pod uwagę poprzedzający i następujący kontekst.
Mniej więcej, jak duży jest flagowy model StarCoderBase?
StarCoderBase ma około 15,5 miliarda parametrów, skromnych jak na standardy pionierskie, ale silnych jak na swój rozmiar w zadaniach kodowych.
Jakiej optymalizacji uwagi używa StarCoder, aby zmniejszyć pamięć i przyspieszyć wnioskowanie?
StarCoder wykorzystuje uwagę wielu zapytań, dzieląc się projekcjami kluczy i wartości między głowami, aby ograniczyć pamięć i przyspieszyć wnioskowanie w długim kontekście.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat