Mi történt
Az Axios jelentése szerint a mesterséges intelligencia-modellek útválasztása egyre nagyobb lendületet kap, mivel a vállalatok olcsóbb és kontrolláltabb módokat keresnek több modell használatára. Az útválasztók kiértékelik a kérést, és egy megfelelő modellhez irányítják, például egy kisebb rendszerhez egy egyszerű lekérdezéshez vagy egy drágább modellhez egy összetett feladathoz. Az Axios a tendencia bizonyítékaként a Stripe bejelentett megállapodását az OpenRouter több mint 8 milliárd dollárért történő megvásárlására, a Meta egy versengő szolgáltatással kapcsolatos munkájára és a modellválasztó eszközök elterjedésére hivatkozik a trend bizonyítékaként. Ezeket az állításokat a AI Understanding önállóan nem erősítette meg.
Az Axios jelentése szerint a vállalkozások egyre inkább az útválasztáshoz fordulnak, amely folyamat minden mesterséges intelligencia-lekérdezést az adott feladathoz leghatékonyabbnak tartott modellel egyeztet. A fiókban az útválasztó rutin kérést küldhet egy kisebb, gyorsabb modellnek, miközben egy bonyolult feladatot egy alkalmasabb és drágább rendszerre irányít. A cégek állítólag konfigurálhatják az útválasztási prioritásokat a költségek, a sebesség, a teljesítmény és az alapján, hogy mely modellszolgáltatókra bízzák adataikat. Az Axios ezt úgy mutatja be, mint több modellt egy döntési rétegen keresztül, ahelyett, hogy egyetlen modellt kezelne alapértelmezett célként. A AI Understanding nem tesztelte önállóan ezeket a rendszereket, és nem erősítette meg a jelentésben leírt teljesítményt, biztonságot vagy megtakarításokat.
Az Axios az OpenRouter-t az útválasztási piac egyik fő példájaként azonosítja, és arról számolt be, hogy a Stripe egy előző héten tett bejelentésre hivatkozva beleegyezett a vállalat több mint 8 milliárd dollárért történő megvásárlásába. Az Axios idézi a Bloomberg jelentését is, amely szerint az OpenRouternek májusban 8 millió felhasználója volt, és 400 modellhez volt hozzáférése. Ezeket a számokat és a jelentett tranzakciót az Axios és a hivatkozott források mutatják be; itt nincsenek önállóan megerősítve. Az Axios továbbá beszámol arról, hogy a Meta a Switchboard nevű versengő szolgáltatáson dolgozik a The Informationre hivatkozva, és azt állítja, hogy maguk a határlaboratóriumok is bevezettek olyan modellválasztókat, amelyek segítségével a felhasználók kiválaszthatnak egy modellt vagy intelligenciaszintet egy feladathoz.
A jelentés az útválasztást olyan tendenciaként írja le, amelyet részben a határmodellek használatának magas költsége és az olcsóbb, nyílt súlyú vagy nyílt forráskódú alternatívák elérhetősége okoz. Az Axios szerint az OpenRouter öt legnépszerűbb modellje nyílt súlyú vagy nyílt forráskódú volt, míg a OpenAI és a Google egy-egy modell a platform top 10-ében szerepelt, a Anthropic pedig egy sem. Az Axios azt is elmondja, hogy az átlagos tokenárak meredeken estek a május közepi csúcs óta, egy X-ről szóló bejegyzésre és a határlaboratóriumok árcsökkentéseire hivatkozva. A cikk nem nyújt független auditált összehasonlítást az árakról, a modell minőségéről, az útválasztás pontosságáról vagy a teljes vállalati költségekről, így az átállás mértéke és tartóssága bizonytalan marad.
Miért számít
Az útválasztás megkönnyítheti a modellek helyettesítését, nyomást gyakorolva a legdrágább határrendszereket építő vállalatok árrésére és piaci erejére. Ezenkívül a vállalkozások jobban szabályozhatják a költségeket, a késleltetést, a teljesítményt és az érzékeny információk feldolgozásának helyét. A gyakorlati hatás attól függ, hogy az útválasztók megbízhatóan választanak-e modelleket, védik-e az adatokat és megőrzik-e a minőséget a különböző feladatok során.
A központi gazdasági vonzat az Axios szerint az, hogy az útválasztással a modelleket cserélhető komponensekké alakíthatja. Ha egy ügyfél különböző kéréseket küldhet különböző szolgáltatóknak egy közös felületen keresztül, akkor előfordulhat, hogy az ügyfél kevésbé függ egyetlen határlaboratóriumtól. Ez megnehezítheti a legdrágább laboratóriumok számára a prémium árak fenntartását, különösen azoknál a feladatoknál, amelyeket a kisebb vagy nyitott modellek megfelelően kezelnek. Az Axios nem közöl bizonyítékokat arra vonatkozóan, hogy a határlaboratóriumok vállalkozásai máris anyagi károkat szenvednének; az árrésnyomást az útválasztási modell lehetséges következményeként írja le.
Az AI-t alkalmazó szervezetek számára az útválasztás praktikus módot jelenthet a versengő követelmények kiegyensúlyozására. A vállalkozások előnyben részesíthetik az alacsony költségeket a rutinmunkáknál, a sebességet az interaktív alkalmazásoknál, a nagyobb teljesítményt speciális feladatoknál, vagy bizonyos szolgáltatókat adatvédelmi és megfelelőségi okokból. Az Axios a trendet összekapcsolja a mesterséges intelligencia szuverenitásával kapcsolatos aggodalmakkal: előfordulhat, hogy a vállalatok inkább nem küldenek védett információkat egy határlaboratóriumnak, és olyan rendszereket kereshetnek, amelyek bizalmasan kezelik a számításokat. A TrustedRouter alapítója, Joseph Perla elmondta az Axiosnak, hogy cége végpontok közötti titkosítást használ a bizalmas számításokhoz, de a AI Understanding nem értékelte önállóan ezt az állítást vagy a vállalat biztosítékait.
Az útválasztás egy fontos döntést is áthelyez a végfelhasználóról vagy az alkalmazásfejlesztőről a közvetítőre. Az útválasztó meghatározza, hogy melyik modell fogadja a kérést, milyen információkat oszt meg, és hogyan adja vissza az eredményt. Ez új kérdéseket vet fel az átláthatóságról, a naplózásról, a szállítói függőségről, az adatok megőrzéséről és az elszámoltathatóságról, ha egy modell hibát produkál. Az útválasztó csökkentheti a kiadásokat anélkül, hogy javítaná a mögöttes választ, vagy választhat egy olcsó modellt, amely nem alkalmas egy érzékeny feladatra. Az Axios idézi a Palantir főépítészét, Akshay Krishnaswamyt, aki szerint a vállalatok továbbra is használhatnak kereskedelmi modelleket, miközben az igényeiknek megfelelő opciókat szeretnének. A jelentés ezért egy óvatosabb következtetést támogat: az útválasztás bővítheti a választékot, de nem szünteti meg a modellek és szállítók egyenkénti értékelésének szükségességét.
Interaktív mechanizmus: Hogyan működik valójában
Fedezze fel interaktívan a fejlesztés mögött meghúzódó technológiát.
Which component of an AI application is the machine-learning model itself?
Mit nézzünk ezután
A fontos kérdések az, hogy az útválasztás a vállalati mesterséges intelligencia szabványos rétegévé válik-e, mennyi irányítást nyernek az útválasztók a modelligény felett, és hogy a határlaboratóriumok alacsonyabb árakkal, jobb integrációval vagy saját útválasztási rendszerekkel reagálnak-e. Figyelje a tényleges megtakarításokra, a megbízhatóságra, a magánélet védelmére, a modellek elérhetőségére és a főbb útválasztási ügyletek feltételeire vonatkozó bizonyítékokat; Az Axios jelentése nem állapítja meg ezeket az eredményeket.
Az első rövid távú jel a fejlesztői kísérletezésen túli elfogadás lesz. Az Axios szerint az útválasztó cégek szolgáltatásaikat gyorsan indulónak nevezik, és arról számol be, hogy a TrustedRouteren keresztül a DeepSeek modellt használó demonstráció kevesebb mint 30 másodpercig tartott. Ez a példa a könnyű hozzáférést mutatja, nem a gyártás megbízhatóságát. Az a bizonyíték, hogy a nagyvállalatok jelentős munkaterhelést irányítanak, mérhető megtakarításokat tesznek közzé vagy routereket használnak szabályozott környezetben, erősebben jelezné, hogy a piac infrastruktúrává válik, nem pedig kényelmi réteggé.
A második kérdés az, hogy az útválasztók hogyan hoznak döntéseket, és hogy az ügyfelek ellenőrizhetik-e azokat. A hasznos jelentések megmutatják, hogy a rendszerek hogyan osztályozzák a kéréseket, kezelik a modellhibákat, megakadályozzák, hogy érzékeny adatok illetéktelen szolgáltatóhoz jussanak, és megmagyarázzák, miért választottak egy modellt a másikkal szemben. Azt is tisztázná, hogy az útválasztók megőrzik-e a promptokat és kimeneteket, hogyan kezelik a szállítóspecifikus képességeket, és hogy a felhasználók felülbírálhatják-e az automatizált választásokat. Az Axios jelentése szerint a költségek, a sebesség, a teljesítmény és az adatok megbízhatósága prioritásként állítható be, de nem írja le a független auditokat vagy összehasonlító teszteket ezeknek a vezérlőknek.
Végül nézze meg a versenyreakciót. Az Axios jelentős tevékenységről számol be az OpenRouter, a Meta lehetséges versenytársa és a határlaboratóriumok modellválasztója körül. Az eredmény lehet egy semleges, több szolgáltatóból álló réteg, amely fokozza a versenyt, vagy egy új koncentrációs pont, amelyet kis számú útválasztási platform irányít. A határlaboratóriumok erre az árak csökkentésével, modelljeik fejlesztésével, saját útválasztási eszközeik felajánlásával vagy a hozzáférési feltételek integrált termékekkel történő kedvezőbbé tételével reagálhatnak. Továbbra sem ismert, hogy az útválasztás jelentősen csökkenti-e a prémium modellek iránti keresletet, növeli-e a teljes mesterségesintelligencia-használatot azáltal, hogy olcsóbbá teszi, vagy egyszerűen csak újabb közvetítőt ad az ügyfelek és a modellszolgáltatók közé.