Co się stało
London Insider donosi, że NetDocuments uruchomiło test porównawczy inżynierii kontekstu prawnego przed ILTACON. Celem testu porównawczego jest zmierzenie wartości, jaką legalne systemy sztucznej inteligencji uzyskują z dostępnego im kontekstu, a nie ocena samego modelu bazowego. Z raportu wynika, że dyrektor generalny NetDocuments, Josh Baxter, opisał branżę jako oscylującą pomiędzy wydatkami bez limitów a cięciami bez strategii. Uruchomienie i wszystkie zgłoszone szczegóły metodologii nie zostały tutaj niezależnie potwierdzone.
London Insider donosi, że NetDocuments uruchomiło test porównawczy inżynierii kontekstu prawnego przed konferencją dotyczącą technologii prawnych ILTACON. W raporcie przedstawiono ten punkt odniesienia jako ustrukturyzowany sposób, w jaki kancelarie prawne mogą ocenić, co ich systemy sztucznej inteligencji zapewniają za wydane pieniądze. Mówi, że test porównawczy opiera się na trzech zmiennych, które określają działanie legalnego agenta AI: modelu, uprzęży zbudowanej wokół modelu oraz kontekstu, do którego system może uzyskać dostęp podczas pracy. Źródłem jest raport wtórny, a nie ogłoszenie pierwszej strony, a premiera nie została tutaj niezależnie potwierdzona.
Według London Insider utrzymuje model i uprząż na stałym poziomie oraz zmienia dostępny kontekst. Zadaje 300 identycznych pytań dotyczących 10 rzeczywistych kwestii prawnych przy dwóch różnych okazjach. W pierwszym uruchomieniu system wykorzystuje standardowe wyszukiwanie i pobieranie. W drugim przypadku włączony jest Graf Kontekstu Prawnego. Porównanie ma na celu wyodrębnienie wkładu dodatkowego kontekstu poprzez pozostawienie innych głównych zmiennych bez zmian. W raporcie nie wskazano zastosowanego modelu, nie opisano kwestii prawnych, nie ujawniono pytań, nie określono kryteriów punktacji ani nie podano wyników żadnego z testów.
W artykule określono punkt odniesienia jako odpowiedź na niepewność dotyczącą ekonomii prawnej sztucznej inteligencji. Mówi, że firmy mogą łatwiej tolerować tę niepewność, gdy sztuczna inteligencja jest sprzedawana w ramach licencji ryczałtowych, ale ceny konsumpcyjne mogą sprawić, że każde pytanie będzie osobną opłatą. Źródło przedstawia tę przyszłą zmianę cen jako zbliżającą się obawę, a nie potwierdzoną zmianę obejmującą całą branżę. W raporcie nie podano aktualnych cen za zapytanie, przykładów faktur, danych dotyczących wdrożenia ani dowodów na to, że klienci NetDocuments wykorzystali już do zmiany swoich decyzji zakupowych.
London Insider donosi również, że Josh Baxter, dyrektor generalny NetDocuments, ostrzegł, że sektor przechodzi między niekontrolowanymi wydatkami a cięciami dokonywanymi bez strategii. W artykule stwierdzono, że firma pozycjonuje ten punkt odniesienia jako sposób na wprowadzenie dyscypliny finansowej w zakresie prawnego stosowania sztucznej inteligencji oraz pomoc firmom w zrozumieniu kosztów uzyskania prawidłowej odpowiedzi. Opis ten odzwierciedla deklarowany cel firmy przekazywany przez punkt sprzedaży; nie stanowi niezależnego dowodu na to, że wskaźnik referencyjny mierzy poprawność lub niezawodność kosztową.
Szczegóły źródła: londoninsider.co.uk ↗
Dlaczego to ma znaczenie
Test porównawczy dotyczy praktycznego problemu firm prawniczych: zrozumienia kosztów i przydatności odpowiedzi generowanych przez sztuczną inteligencję w obliczu potencjalnej zmiany cen dla przedsiębiorstw z opłat ryczałtowych na rzecz rozliczeń opartych na zużyciu. Jego projekt mógłby pomóc w oddzieleniu wkładu modelu, otaczającego go oprogramowania i informacji prawnych dostępnych w systemie. Jednak raport nie zawiera wyników testów porównawczych, cen, pomiarów dokładności ani niezależnej oceny metody.
Centralne znaczenie zgłoszonej premiery polega na tym, że traktuje ona legalną sztuczną inteligencję jako problem pomiaru i budżetowania, a nie tylko jako wyścig w zakresie możliwości. System, który dostarcza imponujących odpowiedzi, może być nadal trudny do uzasadnienia dla firmy, jeśli organizacja nie może powiązać wydajności z ilością użytego kontekstu, wyszukiwania i obliczeń. Punkt odniesienia, który wyodrębnia te wkłady, mógłby zapewnić zespołom technologicznym i finansowym jaśniejszą podstawę do porównywania konfiguracji systemów. Ze źródła nie wynika jednak, że osiągnął ten cel w praktyce.
Zgłoszony projekt ma przydatną funkcję eksperymentalną: utrzymuje dwa główne elementy na stałym poziomie, zmieniając jednocześnie kontekst dostępny dla systemu. Zadawanie identycznych pytań w odniesieniu do tego samego zestawu kwestii prawnych ma na celu umożliwienie łatwiejszej interpretacji porównania niż ogólna demonstracja narzędzia AI. Jeśli taki test zostanie przeprowadzony i rygorystycznie udokumentowany, może pomóc firmom zadać sobie pytanie, czy lepszy dostęp do wewnętrznych informacji prawnych zapewnia wystarczającą poprawę, która uzasadnia jego koszty techniczne i finansowe. Nie zgłoszono żadnej poprawy liczbowej, poziomu błędów ani redukcji kosztów, więc praktyczny rozmiar jakichkolwiek korzyści pozostaje nieznany.
ma również istotne ograniczenia. Ponieważ zgłoszone porównanie zmienia kontekst, zachowując stały model i uprząż, samo w sobie nie porównuje konkurencyjnych modeli, systemów wyszukiwania ani projektów agentów. Dziesięć kwestii prawnych może nie reprezentować zakresu dokumentów, jurysdykcji, obszarów praktyki lub poziomów ryzyka, z jakimi spotyka się duża firma. Źródło nie wyjaśnia, w jaki sposób wybierano pytania, jak oceniano odpowiedzi, czy oceniający byli zaślepieni i czy te same wyniki można było uzyskać poza środowiskiem NetDocuments.
Dla klientów i społeczeństwa istotną kwestią nie jest po prostu to, czy legalny system sztucznej inteligencji jest tańszy w przeliczeniu na odpowiedź. Praca prawnicza może wiązać się z informacjami poufnymi, specjalistycznym prawem i konsekwencjami, których nie da się ująć w pojedynczym wyniku. Wskaźnik referencyjny może służyć informowaniu o zamówieniach i nadzorze, ale raport nie dostarcza dowodów na to, że zapewnia on dokładność prawną, chroni poufność lub zastępuje profesjonalną ocenę. Te niewiadome mają znaczenie, zanim firmy wykorzystają raportowane wyniki do uzasadnienia szerszego wdrożenia.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Co obejrzeć dalej
Kolejne kluczowe pytania dotyczą tego, czy NetDocuments publikuje wyniki testów porównawczych i pełną metodologię, czy zewnętrzne firmy lub badacze mogą odtworzyć porównanie oraz jak Graf kontekstu prawnego wpływa na jakość odpowiedzi i koszty w praktyce. Zwróć także uwagę na konkretne informacje na temat cen konsumpcyjnych, przetestowanych modeli i systemów wyszukiwania, w tym kwestii prawnych oraz tego, jak firmy radzą sobie z weryfikacją odpowiedzi sztucznej inteligencji przez człowieka.
Pierwszą rzeczą, którą należy sprawdzić, jest to, czy NetDocuments publikuje rzeczywiste wyniki testów porównawczych, a nie tylko projekt testu. Raport opisuje porównanie składające się z 300 pytań, ale nie podaje wyników, wskaźników dokładności, kategorii błędów, pomiarów opóźnień ani obliczeń kosztów. Wyniki powinny jasno pokazać, jaką różnicę przyniósł Wykres Kontekstu Prawnego, jak często odpowiedzi uległy poprawie lub pogorszeniu oraz czy zmiana była na tyle duża, aby miała znaczenie finansowe.
Następną kwestią jest powtarzalność. Przydatne sprawozdania uzupełniające będą wymagały nazw lub cech testowanych modeli i uprzęży, zasad wyboru 10 kwestii prawnych, rubryk oceny oraz sposobu postępowania w przypadku odpowiedzi bez odpowiedzi lub częściowo poprawnych. Istotne byłoby również, czy kancelarie prawne, niezależni badacze lub konkurujący dostawcy będą mogli powtórzyć porównanie. Bez tych szczegółów czytelnicy nie są w stanie określić, czy jest ogólnym narzędziem oceny, czy głównie testem konfiguracji produktu jednej firmy.
Kolejną ważną niewiadomą będzie cena. London Insider twierdzi, że nadchodzą ceny konsumpcyjne, ale nie podaje harmonogramu, zobowiązań dostawców ani danych liczbowych na zapytanie. Zwróć uwagę na dowody dotyczące sposobu, w jaki firmy są obciążane opłatami za wyszukiwanie, rozszerzanie kontekstu, wywołania modeli i inne części przepływu pracy AI. Wiarygodna analiza kosztów musiałaby odróżniać cenę udzielenia odpowiedzi od kosztu jej sprawdzenia, poprawienia i utrzymania leżących u jej podstaw informacji prawnych.
Na koniec przyjrzyj się, jak firmy wykorzystują punkt odniesienia w zarządzaniu. Źródło twierdzi, że klienci naciskają na kancelarie prawne, aby wykazały odpowiedzialne wydatki na technologię, ale nie podaje żadnych przykładów firm, które przyjęły test lub zmieniły z tego powodu politykę. Dowody uzupełniające powinny uwzględniać weryfikację ludzką, kontrole poufności, ścieżki audytu oraz to, czy lepszy kontekst konsekwentnie poprawia odpowiedzi w przypadku różnych zadań prawnych. Dopóki nie zostaną udzielone odpowiedzi na te pytania, uruchomienie stanowi potencjalnie użyteczną propozycję oceny, a nie dowód na to, że legalna sztuczna inteligencja stała się przewidywalna lub przejrzysta ekonomicznie.