NastępnyNastępny poradnik
Szybkie wersjonowanie i testowanie regresyjne
Techniczne
PRZEWODNIK techniczny
Automatyczna szybka optymalizacja i DSPy
Automatyczna optymalizacja podpowiedzi wykorzystuje algorytm do wyszukiwania lepszych instrukcji lub kilku przykładów.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ocenia podpowiedzi kandydatów na podstawie metryki na zestawie przykładów, zamiast polegać na ręcznie zmienianych sformułowaniach. Dobrze znane podejścia obejmują APE, OPRO Google DeepMind i DSPy, framework open source firmy Stanford. Razem zmieniają szybką inżynierię ze zgadywania w mierzalny, powtarzalny proces.
Głębokie nurkowanie
Ręcznie dostrojone podpowiedzi mają znaną słabość. Sformułowania, które sprawdzają się w przypadku jednego modelu, zbioru danych lub wersji, mogą po cichu przestać działać w innym, a zmiany zwykle ocenia się tylko na podstawie kilku przykładów. Automatyczna optymalizacja podpowiedzi zastępuje tę pętlę wyszukiwaniem. Zapewniasz trzy rzeczy: - Zadanie. - Zestaw wejść, najlepiej z oczekiwanymi wynikami. - Metryka, taka jak dokładne dopasowanie lub rubryka punktowana przez inny model. Optymalizator generuje podpowiedzi dla kandydatów, uruchamia je, ocenia i zatrzymuje zwycięzców. Wczesne przykłady ukonkretniły pomysł. APE (Automatic Prompt Engineer, Zhou i in., 2022) zaproponowało modelowi wiele instrukcji na podstawie przykładów wejścia-wyjścia, a następnie pozostawił te, które uzyskały najwyższą liczbę punktów. OPRO (Optimization by PROmpting, Yang et al., Google DeepMind, 2023) wykorzystało LLM jako optymalizator. W jego meta-podpowiedzi wymieniono wcześniejsze instrukcje wraz z ich wynikami, a model zaproponował nowe. OPRO znalazło instrukcje takie jak „Weź głęboki oddech i pracuj nad tym problemem krok po kroku”, które uzyskały dobre wyniki w przypadku jednego konkretnego modelu matematyki w szkole podstawowej. Zoptymalizowane sformułowania mogą być nieintuicyjne i specyficzne dla modelu. DSPy idzie dalej, zmieniając sposób pisania programów. Został opracowany w Stanford NLP przez Omara Khattaba i współpracowników i wprowadzony w 2023 roku. Deklarujesz, co każdy krok robi za pomocą podpisu, np. „Pytanie, kontekst -> odpowiedź” i łączysz moduły, takie jak Predict lub ChainOfThought. Optymalizator (wcześniej nazywany teleprompterem), taki jak BootstrapFewShot lub MIPROv2, następnie „kompiluje” program, wybierając demonstracje i instrukcje dla każdego modułu, aby zmaksymalizować metrykę. Warto skorygować trzy błędne przekonania: - Narzędzia te eliminują ludzki osąd. Tak się nie dzieje, ponieważ metryka i przykłady definiują „lepiej”. - Zoptymalizowane podpowiedzi są bezpieczne. Mogą nadmiernie dopasować mały zbiór danych. - Optymalizacja jest bezpłatna. Kosztuje prawdziwe wywołania API, czasem wiele.
Implementacja w świecie rzeczywistym
Zespół tworzący klasyfikator biletów pomocy technicznej zapisuje podpis DSPy „bilet -> kategoria” i dostarcza 200 oznaczonych biletów oraz metrykę dokładności. Następnie optymalizator wybiera demonstracje składające się z kilku zdjęć, które uzyskują najlepsze wyniki.
Kiedy firma przechodzi od jednego dostawcy LLM do innego, ponownie uruchamia optymalizator DSPy dla nowego modelu. Nie przepisuje ręcznie podpowiedzi, które zostały dostrojone do starego modelu.
Badacz uruchamia pętlę w stylu OPRO. Jeden model proponuje nowe sformułowania instrukcji, każde sformułowanie jest oceniane w ramach testu porównawczego z matematyki, a historia najlepszych wyników przechodzi do następnej rundy propozycji.
Potok pytań i odpowiedzi wspomagany wyszukiwaniem jest zoptymalizowany od początku do końca, a metryka porównuje ostateczne odpowiedzi z odpowiedziami referencyjnymi. Zarówno etap pisania zapytania, jak i etap odpowiadania poprawiają się razem.
Przyszłość automatycznej szybkiej optymalizacji i DSPy
Szybka optymalizacja staje się normalną częścią inżynierii LLM, obok pakietów ewaluacyjnych, a nie ciekawostką badawczą. Pozostają otwarte pytania. Jak dobrze zoptymalizowane podpowiedzi są przesyłane między modelami? Jak zapisać wskaźniki subiektywnych cech, takich jak ton czy przydatność? Jak uniknąć nadmiernego dopasowania małych zbiorów danych? Niektóre badania łączą szybką optymalizację z lekkim dostrajaniem, a DSPy obsługuje oba. Modele zmieniają się często, więc możliwość automatycznej ponownej optymalizacji w oparciu o stabilny zestaw testowy prawdopodobnie będzie miała większe znaczenie niż jakakolwiek pojedyncza sprytna podpowiedź. Definiowanie dobrych wskaźników i przykładów pozostaje zadaniem ludzkim.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Automatic Prompt Optimization and DSPy quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest automatyczna optymalizacja natychmiastowa i DSPy?
Automatyczna optymalizacja podpowiedzi wykorzystuje algorytm do wyszukiwania lepszych instrukcji lub kilku przykładów. Ocenia podpowiedzi kandydatów na podstawie metryki na zestawie przykładów, zamiast polegać na ręcznie zmienianych sformułowaniach. Dobrze znane podejścia obejmują APE, OPRO Google DeepMind i DSPy, framework open source firmy Stanford. Razem zmieniają szybką inżynierię ze zgadywania w mierzalny, powtarzalny proces.
Co musisz podać, aby automatyczna optymalizacja natychmiastowa zadziałała?
Optymalizator potrzebuje zadania, przykładów i metryki, aby móc oceniać podpowiedzi kandydatów i zatrzymywać najlepsze.
Co w OPRO pełni rolę optymalizatora?
OPRO używa modelu językowego jako optymalizatora. Widzi wcześniejsze instrukcje z ich wynikami i proponuje nowe.
Co ilustruje wynik OPRO „Weź głęboki oddech i pracuj nad tym problemem krok po kroku”?
Instrukcja uzyskała dobre wyniki w przypadku jednego konkretnego modelu matematyki w szkole podstawowej. Sformułowanie znalezione podczas wyszukiwania może być zaskakujące i może nie zostać przeniesione na inne modele.
Co to jest podpis DSPy?
Podpisy deklarują, co moduł powinien robić w zakresie pól wejściowych i wyjściowych. Następnie DSPy opracowuje monit.
W jaki sposób BootstrapFewShot DSPy uzyskuje swoje demonstracje?
Pomyślne ślady stają się przykładami kilku strzałów, w tym w przypadku kroków wewnętrznych, których sam nigdy nie opisałeś.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat