Narzędzie do formowania narzędzi i samouki w użyciu narzędzi
Toolformer to metoda sztucznej inteligencji Meta z roku 2023, która pozwala modelowi językowemu uczyć się, kiedy i jak wywoływać narzędzia zewnętrzne, takie jak kalkulatory, wyszukiwarki i tłumacze.
Przegląd
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Głębokie nurkowanie
Toolformer, od Schick et al. w Meta AI mierzy się z paradoksem: duże modele świetnie radzą sobie z językiem, ale słabo z arytmetyką, świeżymi faktami i precyzyjnym wyszukiwaniem. Pętla treningowa jest samonadzorowana. Model otrzymuje kilka napisanych przez człowieka przykładów przedstawiających składnię wywołań API, a następnie pojawia się monit o wstawienie wywołań kandydujących (owiniętych w specjalne tokeny) w wielu miejscach w dużym korpusie tekstowym. Każde wywołanie kandydujące jest faktycznie wykonywane, a wynik jest łączony. Etap filtrowania klucza utrzymuje wywołanie narzędzia tylko wtedy, gdy posiadanie wyniku API zmniejsza zakłopotanie modelu w związku z nadchodzącym rzeczywistym tekstem bardziej niż brak wywołania lub wywołanie w inny sposób. Następnie model jest dostrajany na podstawie tego przefiltrowanego, samodzielnie wygenerowanego zbioru danych, ucząc się, jak korzystać z pięciu narzędzi: kalkulatora, systemu kontroli jakości, wyszukiwarki, tłumacza i kalendarza.
Wgląd techniczny
Decydującą ideą jest samonadzorowany cel filtrowania. Dla każdego kandydata na stanowisko Toolformer porównuje utratę przewidywania kolejnych tokenów z wstawionym wynikiem API i bez niego. Połączenia, które zmniejszają straty o więcej niż próg, są zachowywane; bezużyteczne lub hałaśliwe połączenia są odrzucane. Oznacza to, że nie jest wymagana żadna adnotacja dotycząca „prawidłowego” użycia narzędzia przez człowieka, model sam decyduje, które wywołania były naprawdę informacyjne, i wspólnie uczy się rozmieszczenia i argumentów.
Wpływ strategiczny
Koszt i budżet
Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
Jaśniejsze decyzje
Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
Kontrola jakości
Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Przyszłość narzędziowni i samouków
Toolformer zapoczątkował współczesne agenty wykorzystujące narzędzia i wywołujące funkcje. Granica przesuwa się od określonej garstki narzędzi do dziesiątek lub setek odkrywanych w czasie wykonywania, przy czym modele zastanawiają się, które narzędzie wywołać, łączą wywołania w łańcuch i radzą sobie z awariami. Oczekuj ściślejszej integracji z uczeniem się przez wzmacnianie i pętlami agentów, a także uczenia się w locie nowych interfejsów API, dzięki czemu korzystanie z narzędzi samouka stanie się standardową możliwością, a nie specjalistycznym dostrojeniem.
Implementacja w świecie rzeczywistym
Wywoływanie interfejsu API kalkulatora w połowie zdania, aby uzyskać dokładną arytmetykę zamiast zgadywać odpowiedź numeryczną.
Wysyłanie zapytań do systemu wyszukiwania lub kontroli jakości w celu pobrania aktualnych lub rzadko spotykanych informacji faktycznych.
Wywoływanie narzędzia do tłumaczenia maszynowego w celu wyrenderowania frazy w innym języku w wygenerowanym tekście.
Korzystanie z narzędzia kalendarza/daty do rozwiązywania względnych odniesień, takich jak „przyszły piątek” do konkretnej daty.
Zagrożenia i poręcze
Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
Koszty infrastruktury i utrzymania są często niedoszacowane.
W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Plan wdrożenia
Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
Test porównawczy w realistycznych warunkach obciążenia i danych.
Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Autorefleksja w pętlach agentów
Często zadawane pytania
What is Toolformer and Self-Taught Tool Use?
Toolformer to metoda sztucznej inteligencji Meta z roku 2023, która pozwala modelowi językowemu uczyć się, kiedy i jak wywoływać narzędzia zewnętrzne, takie jak kalkulatory, wyszukiwarki i tłumacze. Zamiast oznaczać wywołania narzędzi przez ludzi, model generuje i filtruje własne przykłady szkoleniowe, a następnie dopasowuje te, które faktycznie pomagają.
Co wyróżnia podejście Toolformera do nauki korzystania z narzędzi?
Toolformer jest samonadzorowany: model proponuje potencjalne wywołania API, wykonuje je i zatrzymuje tylko te pomocne, bez ludzkiej adnotacji dotyczącej prawidłowego użycia.
Jakiego kryterium używa Toolformer, aby zdecydować, czy utrzymać kandydujące wywołanie API?
Wywołanie zostanie zachowane tylko wtedy, gdy wstawienie jego wyniku zmniejszy zakłopotanie/stratę modelu w związku z nadchodzącym rzeczywistym tekstem powyżej progu, wskazując, że było ono naprawdę przydatne.
Jakiego zestawu narzędzi nauczył się używać oryginalny Toolformer?
Toolformer został przeszkolony w zakresie wywoływania pięciu interfejsów API: kalkulatora, systemu odpowiadania na pytania, wyszukiwarki, tłumacza maszynowego i kalendarza.
W jaki sposób wywołania narzędzi są reprezentowane w tekście podczas procesu Toolformera?
Wywołania kandydatów i ich zwrócone wyniki są wstawiane do tekstu za pomocą specjalnych tokenów, dzięki czemu model wspólnie uczy się rozmieszczenia i argumentów.
Jaka podstawowa słabość dużych modeli językowych motywowała Toolformera?
Pomimo silnych umiejętności językowych, LLM mają trudności z dokładną arytmetyką, aktualnymi faktami i precyzyjnym wyszukiwaniem informacji, które mogą zapewnić narzędzia zewnętrzne.