Що сталося
Ramp запустив Router, шлюз API, який направляє запити AI між підтримуваними моделями на основі вартості, продуктивності та доступності. Компанія каже, що Router сумісний з API OpenAI та Anthropic, підтримує можливість приносити власні ключі для вибраних постачальників і є безкоштовним до 2026 року, окрім плати за токени за прейскурантною ціною. На його сайті стверджується, що середнє зниження вартості висновків становить 40%, але не надається незалежна перевірка чи дата запуску.
Веб-сайт Ramp’s Router описує продукт як єдину кінцеву точку для доступу до кількох моделей ШІ з одним обліковим записом і рахунком за використання. У ньому сказано, що Router спочатку перевіряє автентичність запитів і відстежує модель, постачальника та вартість, а потім направляє відповідні запити на більш економічно ефективний рівень моделі, коли система Ramp визначає, що це не вплине на якість. Служба також може надсилати прийнятні запити до іншої доступної моделі, коли постачальник не працює або обмежує швидкість для користувача. Ремп каже, що розробники можуть встановлювати пріоритети вартості та продуктивності за допомогою «Стратегії маршрутизатора» або використовувати стандартні параметри на основі контрольних показників компанії.
На сайті сказано, що API сумісний із пакетами SDK OpenAI та Anthropic, і що для перемикання може знадобитися змінити базову URL-адресу, а не переписувати код програми. У ньому також сказано, що вибрані постачальники підтримують ключі API за бажанням. Компанія продає Router як продукт для зниження витрат, а не як нову базову модель. На його сайті зазначено, що служба може отримати доступ до поточних моделей від OpenAI, Anthropic та інших постачальників, включаючи вибрані моделі з відкритим вихідним кодом, і відображає інформаційну панель зі списком 27 моделей. Сторінка представляє серію впливу на вартість на основі 18 щоденних вибірок: її загальний індекс витрат падає зі 100 у першій вибірці до 70 у вісімнадцятій, оскільки частка гнучкої маршрутизації зростає з 1% до 73%. Крім того, Ramp стверджує, що Router скорочує витрати на логічні висновки в середньому на 40%.
Джерело не пояснює, як відбиралися зразки, які робочі навантаження вони представляють, як розраховувалася «вартість» і чи доступні відображені моделі та цифри для всіх користувачів. Ремп каже, що Router був розроблений після трьох років експлуатації подібної технології на власних робочих навантаженнях. На сторінці стверджується, що щомісяця маршрутизується понад 2,75 трильйона токенів, і сказано, що оперативні сигнали затримки та частоти відмов допомогли скоротити внутрішні витрати Ramp на AI на 30% без шкоди для продуктивності. Він також цитує окремий приклад NVIDIA NeMo Switchyard, у якому інтелектуальний вибір моделі зменшив вартість на 59% і час роботи на 35% для агентів кодування. Це претензії компаній або партнерів, представлені на сайті Ramp, а не незалежно встановлені результати.
Маршрутизатор описано як доступний для окремих розробників і команд у Сполучених Штатах, планується ще більше країн. Перші $26 кредитів пропонуються безкоштовно, а корпоративні функції вказано як майбутні; джерело не вказує дати запуску, зобов’язань щодо рівня обслуговування, обмежень на використання чи детальних цін, окрім безкоштовної маршрутизації до 2026 року та плати за токени за прейскурантною ціною.
Чому це важливо
Рівень маршрутизації може зменшити інженерну роботу та блокування постачальника, пов’язані з використанням кількох моделей штучного інтелекту, водночас дозволяючи компаніям змінювати ціну, швидкість та якість залежно від робочого навантаження. Продукт також централізує доступ до моделі, відстеження використання та обробку даних в одній службі. Ці переваги залежать від якості оцінок маршрутизатора, його резервної поведінки та умов конфіденційності й утримання, які застосовуються до кожного основного постачальника.
Практична обіцянка полягає в тому, щоб зробити вибір моделі оперативним рішенням замість постійного рішення щодо архітектури програми. Команда може підключити програму один раз, а потім використовувати різні моделі для завдань із різними вимогами, наприклад, недорогі рутинні запити та ефективніші моделі для складної роботи. Запасний шлях також може зменшити вплив збою окремого постачальника або обмеження швидкості. Якщо ці функції працюватимуть, як описано, Router може знизити витрати на перемикання для невеликих команд, яким бракує персоналу для підтримки окремих інтеграцій, оцінок і інформаційних панелей витрат.
Продукт відображає ширший зсув витрат на штучний інтелект від вибору однієї моделі до управління портфелем моделей. Ramp розглядає токени як витрати бізнесу, що швидко зростають, і застосовує свій існуючий фокус на контролі витрат для висновків. Автоматична маршрутизація може допомогти фінансовим командам побачити використання в загальному обліковому записі, надаючи інженерним командам доступ до кількох постачальників. Але цінність полягає не просто в нижчій ціні за токен. Дешевша модель, яка створює більше помилок, вимагає додаткових спроб або сповільнює робочий процес, може збільшити загальну вартість виконання завдання.
Діаграми частоти вирішення та витрат джерела свідчать про те, що Router оцінює цей компроміс, але не публікує достатньо методології, щоб визначити, чи охоплюють вимірювання реальні результати клієнта чи лише вибрані внутрішні робочі навантаження. Централізація запитів також створює нову точку залежності. Маршрутизатор може спостерігати та зберігати вхідні, вихідні дані та метадані моделі, відповідно до його поширених запитань, і каже, що використовує цю інформацію для покращення сервісу, при цьому користувачі можуть контролювати деякі параметри. Сайт пропонує розміщені в США моделі з параметрами нульового збереження даних, але каже, що політики збереження можуть відрізнятися залежно від основного постачальника та моделі. Ця різниця має значення для додатків, які обробляють конфіденційні ділові дані, особисту інформацію або регламентовані записи.
Єдина кінцева точка може спростити інтеграцію, роблячи власну доступність, безпеку, журналювання та рішення щодо вибору постачальника маршрутизатора частиною профілю ризику кожної підключеної програми. Джерело не надає незалежної оцінки безпеки, сертифікації відповідності, історії інцидентів або повного звіту про те, які елементи керування можуть змінювати користувачі.
Інтерактивний механізм: як він насправді працює
Дослідіть технологію, що лежить в основі цієї розробки, в інтерактивному режимі.
What is the best response when AI Models Explained makes a mistake in production?
Що дивитися далі
Важливим доказом буде незалежне тестування вартості виконання успішного завдання, затримки, якості та відновлення збоїв у різних робочих навантаженнях. Користувачі також повинні стежити за цінами після 2026 року, корпоративною доступністю, моделлю та країною покриття, елементами керування маршрутизацією та точними параметрами збереження даних, доступними для кожного постачальника. Джерело Ramp не встановлює, чи виходять його претензії щодо заощаджень за межі його власного робочого навантаження.
Перше питання полягає в тому, чи зазначені заощадження витримають незалежне тестування на рівні робочого навантаження. Корисні порівняння вимірюють вартість виконаного завдання, а не саму ціну токена, а також якість, кількість повторних спроб, затримку та відновлення після збою. Тести повинні охоплювати кодування, вилучення, підтримку клієнтів, міркування та інші навантаження, оскільки правило маршрутизації, яке працює для одного завдання, може бути непридатним для іншого. Ramp каже, що він порівнює моделі з реальними робочими навантаженнями та реагує на затримку в реальному часі та частоту відмов, але джерело не визначає завдання, набори даних, правила оцінки, базовий рівень або період оцінки. Його внутрішні звіти про зниження на 30%, середня заявка на веб-сайті на 40% і серії витрат із 18 вибірок, отже, слід розглядати як окремі цифри, надані компанією, а не як єдиний незалежно перевірений результат.
Доступність і комерційні умови визначатимуть, чи буде Router корисним поза ранніми експериментами. Джерело каже, що сервіс наразі призначений для окремих осіб і команд із США, пропонує безкоштовний маршрут до 2026 року, стягує прейскурантну ціну за токени та надає початковий кредит у розмірі 26 доларів США. У ньому не вказується, які комісії за маршрутизацію чи платформу можуть застосовуватися пізніше, чи має кредит суттєві обмеження використання або коли з’являться корпоративні можливості. У майбутніх звітах слід досліджувати географічне розширення, підтримувані моделі та постачальників, квоти, гарантії рівня обслуговування, практики застарілої моделі, прозорі елементи керування для примусового чи виключення моделі та поведінку резервних варіантів, коли запит має суворі вимоги до контексту, інструментів або даних. Підтримка BYOK обмежена вибраними постачальниками, тому її обсяг також потребує уточнення.
Деталі конфіденційності та управління заслуговують такої ж уваги, як і вартість. Користувачі повинні мати можливість визначати, де обробляється кожен запит, який постачальник отримує його, як довго зберігаються вхідні та вихідні дані, чи використовуються дані для навчання чи покращення обслуговування, а також як працюють елементи керування видаленням і аудитом. У розділі поширених запитань маршрутизатора визнається, що служба зберігає вхідні, вихідні дані та метадані, а також застосовуються політики збереження, які стосуються постачальника.
Джерело не вказує період зберігання за замовчуванням, повний набір елементів керування користувачами, обробку конфіденційних підказок під час відновлення після відмови або засоби захисту облікових даних і журналів маршрутизації. Також невідомо, як часто Router змінює призначення моделей, як клієнти можуть перевіряти ці рішення та чи можна вимкнути автоматичні варіанти економії коштів для робочих процесів із високими ставками.