Marże brutto i koszty wnioskowania w quizie dotyczącym firm AI

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Według przewodnika, dlaczego obsługa dodatkowego użytkownika zwykle kosztuje więcej w przypadku produktu AI niż w przypadku klasycznego SaaS?
   • Produkty AI muszą kupić oddzielną licencję na oprogramowanie dla każdego użytkownika
   • Produkty AI wymagają znacznie większych baz danych klientów
   • Każdy monit pochłania czas procesora graficznego, a koszt zmienny rośnie wraz z użytkowaniem
   • Produkty AI wymagają większej liczby sprzedawców na jednego klienta
2. Do czego służy routing modelu?
   • Wysyła łatwe żądania do małych, tanich modeli i zatrzymuje duże modele dla twardych
   • Wysyła każde żądanie do najbardziej wydajnego modelu, aby zagwarantować jakość
   • Rozkłada żądania równomiernie na kilku dostawców, aby uzyskać rabaty ilościowe
   • Przechowuje wyniki modelu, dzięki czemu nigdy nie udziela się dwukrotnie odpowiedzi na identyczne pytania
3. Co przemawia za esejem Andreessena Horowitza z 2020 r. „The New Business of AI”?
   • Firmy zajmujące się sztuczną inteligencją wkrótce będą miały wyższe marże brutto niż jakakolwiek inna firma SaaS
   • Koszty wnioskowania były zbyt małe, aby mieć wpływ na finanse firmy AI
   • Firmy zajmujące się sztuczną inteligencją powinny całkowicie unikać korzystania z dostawców usług w chmurze
   • Wiele firm zajmujących się sztuczną inteligencją wyglądało jak połączenie oprogramowania i usług, z niższymi marżami wynikającymi z obliczeń i ludzi w pętli
4. Dlaczego spadające ceny tokenów nie naprawiają automatycznie marży brutto AI?
   • Ceny tokenów w rzeczywistości nie spadły dla żadnego poziomu możliwości
   • Produkty często wykorzystują oszczędności, przechodząc na nowsze modele, dłuższe konteksty i agentyczne przepływy pracy
   • Marża brutto nie obejmuje kosztów obliczeniowych
   • Dostawcy ponownie podnoszą ceny za każdym razem, gdy je obniżają
5. Jak najlepiej ustrukturyzować monit, aby jak najlepiej wykorzystać buforowanie podpowiedzi dostawcy?
   • Umieść pytanie użytkownika na pierwszym miejscu, aby model przeczytał je przed czymkolwiek innym
   • Losuj kolejność instrukcji dla każdego połączenia, aby uniknąć nieaktualnych odpowiedzi
   • Na pierwszym miejscu umieść instrukcje statyczne, definicje narzędzi i dokumenty referencyjne, a na końcu zmienną treść użytkownika
   • Podziel każdy monit na wiele małych wywołań, aby każde z nich było oddzielnie buforowane
6. Dlaczego przewodnik zaleca śledzenie marży wkładu według kohorty klientów, zamiast polegać na średnich?
   • Średnie zawyżają koszty lekkich użytkowników
   • Śledzenie kohort jest wymagane przez standardy rachunkowości
   • Średnie uniemożliwiają routing
   • Średnie ukrywają zaawansowanych użytkowników, których intensywne użytkowanie może zniweczyć zyski
7. Jak działa kaskada routingu?
   • Najpierw wypróbowuje mały model, a następnie przechodzi do większego, gdy nie powiedzie się kontrola walidacyjna lub sygnał pewności
   • Wysyła każde żądanie do każdego dostępnego modelu i wybiera najdłuższą odpowiedź
   • Zawsze zaczyna się od największego modelu i wraca do mniejszych, gdy kończą się budżety
   • Przechowuje każdą odpowiedź i odtwarza ją przyszłym użytkownikom z różnymi pytaniami
8. Dlaczego należy modelować koszty według zadania, a nie wywołania API?
   • Dostawcy rozliczają się według zadań, a nie symbolicznie
   • Agent może wykonać wiele połączeń w ramach jednego działania użytkownika, więc dane dotyczące poszczególnych połączeń zaniżają rzeczywisty koszt
   • Koszty połączenia w przypadku monitów zapisanych w pamięci podręcznej są zawsze zerowe
   • Zadania i rozmowy kosztują zawsze dokładnie tyle samo