Projektowanie narzędzi dla agentów LLM

Definicja narzędzia składa się z czterech części, od których zależy model: nazwy, opisu w języku naturalnym, schematu wejściowego (zwykle schematu JSON) i tekstu wysyłanego przez narzędzie. Każdy działa jak zachęta. Model decyduje o wywołaniu narzędzia dopasowując cel użytkownika do opisów i uzupełnia argumenty za pomocą nazw parametrów, typów, wyliczeń i przykładów. Dobre imiona są specyficzne i pogrupowane. Przedrostki takie jak github_create_issue i jira_create_issue oddzielają narzędzia, gdy agent łączy się z wieloma usługami. Dobre opisy mówią, co robi narzędzie, kiedy go używać, kiedy nie i co zwraca, w sposób, w jaki poinformowałbyś o tym nowego kolegę. Parametry powinny mówić, co mają na myśli: user_id jest lepszy niż id, a wyliczenie dozwolonych wartości jest ważniejsze od ciągu tekstowego, który model musi odgadnąć. Dane wyjściowe mają takie samo znaczenie jak dane wejściowe. Zwracanie tysięcy wierszy lub surowych identyfikatorów wewnętrznych wypełnia okno kontekstowe i ukrywa istotne informacje. Lepsze narzędzia zwracają czytelne pola, domyślnie dzielą na strony lub obcinają, a czasami oferują tryb zwięzły lub szczegółowy. Komunikaty o błędach powinny informować model, co poszło nie tak i co należy spróbować dalej, ponieważ model je odczyta i zastosuje się do nich. Powszechnym błędnym przekonaniem jest to, że więcej narzędzi oznacza bardziej zdolnych agentów. Każda definicja wymaga kontekstu na każdym kroku, a nakładające się narzędzia utrudniają wybór. Dokładność ma tendencję do spadku w miarę wydłużania się listy narzędzi, szczególnie gdy narzędzia wyglądają podobnie. Nie ma zastosowania żadna uniwersalna granica odcięcia. Wielu praktyków zaczyna dostrzegać problemy gdzieś w dziesiątkach narzędzi, a typowymi poprawkami są konsolidacja narzędzi, ładowanie ich na żądanie lub dzielenie pracy między wyspecjalizowanych agentów. Innym błędnym przekonaniem jest to, że narzędzia powinny odzwierciedlać istniejący interfejs API jeden do jednego. Agenci zwykle radzą sobie lepiej, korzystając z mniejszej liczby narzędzi wyższego poziomu dostosowanych do zadań, które faktycznie wykonują ludzie.