무슨 일이 일어났나요?
Axios는 기업들이 여러 모델을 사용하기 위해 더 저렴하고 더 통제된 방법을 모색함에 따라 AI 모델 라우팅이 탄력을 받고 있다고 보고합니다. 라우터는 요청을 평가하고 이를 간단한 쿼리를 위한 더 작은 시스템이나 복잡한 작업을 위한 더 비싼 모델과 같은 적절한 모델로 보냅니다. Axios는 Stripe가 OpenRouter를 80억 달러 이상에 인수하기로 발표한 계약, Meta가 보고한 경쟁 서비스 작업 및 프론티어 AI 연구소의 모델 선택 도구 확산을 추세의 증거로 인용합니다. 이러한 주장은 AI Understanding에 의해 독립적으로 확인되지 않았습니다.
Axios는 각 AI 쿼리를 해당 작업에 가장 효율적인 것으로 간주되는 모델과 일치시키는 프로세스인 라우팅으로 점점 더 많은 기업이 전환하고 있다고 보고합니다. 계정에서 라우터는 더 작고 빠른 모델에 일상적인 요청을 보내는 동시에 더 유능하고 값비싼 시스템에 어려운 작업을 지시할 수 있습니다. 기업은 비용, 속도, 성능 및 데이터에 대해 신뢰하는 모델 공급자를 중심으로 라우팅 우선순위를 구성할 수 있는 것으로 알려졌습니다. Axios는 단일 모델을 기본 대상으로 처리하는 대신 하나의 결정 계층을 통해 여러 모델을 사용하는 방법으로 이를 제시합니다. AI Understanding는 이러한 시스템을 독립적으로 테스트하지 않았으며 보고서에 설명된 성능, 보안 또는 절감 효과를 확인하지 않았습니다.
Axios는 OpenRouter를 라우팅 시장의 주요 사례로 식별하고 지난주 발표를 인용하여 Stripe가 80억 달러 이상에 회사를 인수하기로 합의했다고 보고했습니다. Axios는 또한 5월 현재 OpenRouter의 사용자가 800만 명에 달하고 400개 모델에 액세스할 수 있다는 Bloomberg의 보고서를 인용합니다. 해당 수치와 보고된 거래는 Axios 및 인용 출처에서 제공됩니다. 여기서는 독립적으로 확인되지 않습니다. Axios는 또한 The Information을 인용하여 Meta가 Switchboard라는 경쟁 서비스를 개발 중이라고 보고했으며, 프론티어 연구소 자체에서 사용자가 작업에 대한 모델이나 인텔리전스 수준을 선택할 수 있는 모델 선택기를 도입했다고 밝혔습니다.
보고서는 라우팅을 프론티어 모델 사용의 높은 비용과 더 저렴한 오픈 웨이트 또는 오픈 소스 대안의 가용성에 의해 부분적으로 주도되는 추세로 설명합니다. Axios에 따르면 OpenRouter에서 가장 인기 있는 5개 모델은 오픈 웨이트 또는 오픈 소스였으며, OpenAI와 Google는 각각 플랫폼 상위 10위 안에 하나의 모델이 있었고 Anthropic에는 모델이 하나도 없었습니다. Axios는 또한 X에 대한 게시물과 Frontier Labs의 가격 인하를 인용하여 평균 토큰 가격이 5월 중순 정점 이후 급격히 하락했다고 밝혔습니다. 이 기사는 가격, 모델 품질, 라우팅 정확성 또는 총 기업 비용에 대한 독립적인 감사 비교를 제공하지 않으므로 교대의 규모와 내구성은 여전히 불확실합니다.
왜 중요한가요?
라우팅은 모델을 더 쉽게 대체할 수 있게 하여 가장 비싼 프론티어 시스템을 구축하는 회사의 마진과 시장 지배력에 압력을 가할 수 있습니다. 또한 기업은 비용, 대기 시간, 성능 및 민감한 정보가 처리되는 위치를 더 효과적으로 제어할 수 있습니다. 실질적인 영향은 라우터가 안정적으로 모델을 선택하고, 데이터를 보호하고, 다양한 작업 전반에 걸쳐 품질을 유지할 수 있는지 여부에 따라 달라집니다.
Axios에 따르면 경제적으로 중요한 의미는 라우팅을 통해 모델을 상호 교환 가능한 구성 요소로 바꿀 수 있다는 것입니다. 고객이 공통 인터페이스를 통해 다양한 공급자에게 다양한 요청을 보낼 수 있다면 고객은 어느 한 프론티어 랩에 대한 의존도가 낮아질 수 있습니다. 이로 인해 가장 비용이 많이 드는 실험실이 프리미엄 가격을 유지하기가 더 어려워질 수 있습니다. 특히 소규모 또는 개방형 모델이 적절하게 처리할 수 있는 작업의 경우 더욱 그렇습니다. Axios는 Frontier Labs의 사업이 이미 실질적으로 피해를 입고 있다는 증거를 보고하지 않습니다. 이는 라우팅 모델의 잠재적인 결과로서 마진 압력을 설명합니다.
AI를 배포하는 조직의 경우 라우팅은 경쟁 요구 사항의 균형을 맞추는 실용적인 방법을 제공할 수 있습니다. 기업은 일상적인 작업을 위한 저렴한 비용, 대화형 애플리케이션의 속도, 특수 작업을 위한 더 강력한 성능, 개인 정보 보호 및 규정 준수를 위한 특정 공급자를 우선시할 수 있습니다. Axios는 이러한 추세를 AI 주권에 대한 우려와 연결합니다. 기업은 독점 정보를 최전방 연구소에 보내는 것을 선호하지 않을 수 있으며 계산을 기밀로 유지하는 시스템을 찾을 수 있습니다. TrustedRouter 창립자 Joseph Perla는 Axios에 자신의 회사가 기밀 컴퓨팅을 위해 종단 간 암호화를 사용하지만 AI Understanding는 해당 주장이나 회사의 보호 장치를 독립적으로 평가하지 않았다고 말했습니다.
또한 라우팅은 중요한 결정을 최종 사용자나 애플리케이션 개발자에서 중개자로 이동시킵니다. 라우터는 어떤 모델이 요청을 수신하는지, 어떤 정보가 공유되는지, 결과가 어떻게 반환되는지를 결정합니다. 이는 모델에서 오류가 발생할 때 투명성, 로깅, 공급업체 종속성, 데이터 보존 및 책임에 대한 새로운 질문을 생성합니다. 라우터는 기본 답변을 개선하지 않고 지출을 낮추거나 민감한 작업에 적합하지 않은 저렴한 모델을 선택할 수 있습니다. Axios는 Palantir 수석 설계자 Akshay Krishnaswamy의 말을 인용하여 기업이 필요에 맞는 옵션을 원하면서도 여전히 상용 모델을 사용할 수 있다고 말했습니다. 따라서 보고서는 보다 신중한 결론을 뒷받침합니다. 즉, 라우팅이 선택의 폭을 넓힐 수 있지만 모델과 공급업체를 개별적으로 평가할 필요성을 제거하지는 않습니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
Which component of an AI application is the machine-learning model itself?
다음에 무엇을 볼 것인가
중요한 질문은 라우팅이 엔터프라이즈 AI의 표준 계층이 되는지, 모델 수요에 대해 라우터가 얼마나 많은 제어 라우터를 확보하는지, 그리고 프론티어 연구소가 저렴한 가격, 더 나은 통합 또는 독점 라우팅 시스템으로 대응하는지 여부입니다. 실제 비용 절감, 신뢰성, 개인정보 보호, 모델 가용성 및 주요 라우팅 거래 조건에 대한 증거를 살펴보세요. Axios의 보고서는 그러한 결과를 확립하지 않습니다.
첫 번째 단기 신호는 개발자 실험을 넘어서는 채택이 될 것입니다. Axios는 라우팅 회사가 자신들의 서비스를 빠르게 시작할 수 있다고 설명하고 TrustedRouter를 통해 DeepSeek 모델을 사용한 시연에 30초도 채 걸리지 않았다고 보고합니다. 이 예는 생산 안정성이 아니라 액세스 용이성을 보여줍니다. 대기업이 상당한 워크로드를 라우팅하고, 측정 가능한 절감 효과를 발표하거나, 규제된 환경에서 라우터를 사용하고 있다는 증거는 시장이 편의 계층이 아닌 인프라로 변하고 있다는 강력한 징후를 제공할 것입니다.
두 번째 질문은 라우터가 결정을 내리는 방법과 고객이 이를 확인할 수 있는지 여부입니다. 유용한 보고는 시스템이 요청을 분류하고, 모델 오류를 처리하고, 중요한 데이터가 승인되지 않은 제공자에게 도달하는 것을 방지하고, 한 모델이 다른 모델보다 선택된 이유를 설명하는 방법을 보여줍니다. 또한 라우터가 프롬프트와 출력을 보존하는지 여부, 공급업체별 기능을 관리하는 방법, 사용자가 자동화된 선택을 무시할 수 있는지 여부도 명확해집니다. Axios는 비용, 속도, 성능 및 데이터 신뢰를 우선순위로 설정할 수 있다고 보고하지만 해당 제어에 대한 독립적인 감사나 비교 테스트에 대해서는 설명하지 않습니다.
마지막으로 경쟁업체의 반응을 살펴보세요. Axios는 Meta 경쟁사이자 프론티어 연구소의 모델 선택기인 OpenRouter와 관련된 주요 활동을 보고합니다. 그 결과는 경쟁을 높이는 중립적인 다중 공급자 계층이 될 수도 있고 소수의 라우팅 플랫폼에 의해 제어되는 새로운 집중 지점이 될 수도 있습니다. 프론티어 연구소는 가격 인하, 모델 개선, 자체 라우팅 도구 제공, 통합 제품을 통한 액세스 조건 개선 등으로 대응할 수 있습니다. 라우팅이 프리미엄 모델에 대한 수요를 크게 감소시킬지, 더 저렴하게 만들어 총 AI 사용량을 늘릴지, 아니면 단순히 고객과 모델 제공자 사이에 또 다른 중개자를 추가할지 여부는 아직 알려지지 않았습니다.