무슨 일이 일어났나요?
IT Brew는 SmartBear, Tanium 및 Smartsheet를 포함한 회사가 독점 모델 사용 비용이 증가함에 따라 개방형 AI 모델을 실험하고 있다고 보고합니다. 경영진은 잠재적 비용 절감, 대기 시간 단축, 로컬 호스팅, 주요 공급자에 대한 의존도 감소 등을 언급하면서 대부분의 실험이 아직 대규모 배포로 전환되지 않았다는 점을 강조했습니다.
IT Brew는 SmartBear의 AI 및 아키텍처 담당 부사장인 Fitz Nowlan이 중국 모델이 주요 AI 연구소의 제품과 성능 격차를 줄이는 것을 확인한 후 개방형 모델에 대한 광범위한 평가를 수행하고 있다고 보고했습니다. Nowlan은 비용 편익 분석이 유리한 경우 SmartBear가 일부 프롬프트를 개방형 시스템으로 라우팅하는 것을 고려하고 있다고 콘센트에 말했습니다. 회사는 이러한 모델이 운영 비용과 대기 시간을 줄이면서 귀중한 기술 사용 사례를 지원할 수 있는지 테스트하고 있습니다. 종합하면, 이 설명은 특정 사용 사례 및 운영 선택 수준에서의 평가를 설명합니다. 이는 완료된 마이그레이션을 설명하지 않으며 결정은 성능, 비용 및 적합성에 대한 회사 자체 평가에 따라 결정됩니다.
IT Brew에 따르면 Tanium은 개방형 모델도 평가하고 있습니다. Tanium CTO인 Harman Kaur는 회사가 사용할 모델, 호스팅 방법, 먼저 테스트해야 할 애플리케이션을 결정해야 한다고 말했습니다. 보고서에 따르면 Tanium은 일부 작업이 폐쇄형 모델과 유사하게 수행되지만 여전히 거버넌스 및 중국 모델을 고객에게 제공해야 하는지 여부에 대한 의문에 직면해 있음을 발견했습니다. Kaur는 Thinking Machines Lab의 Inkling 모델을 평가하고 있습니다. 평가를 통해 한 번에 여러 가지 결정을 내릴 수 있습니다. 보고서의 예는 모델 선택을 호스팅, 애플리케이션 선택 및 고객 사용과 연결하므로 한 작업에서 유리한 결과가 그 자체로 광범위한 배포 문제를 해결하지는 않습니다.
IT Brew는 또한 Smartsheet가 현재 개방형 대안을 탐색하면서 주로 Anthropic 및 Amazon 모델에 의존하고 있다고 보고합니다. Rajeev Singh CEO는 회사가 결국 더 간단한 작업을 더 저렴한 모델로 라우팅할 수 있지만 현재로서는 속도와 출시 시간을 우선시하고 있다고 말했습니다. 이 기사에서는 PwC 글로벌 수석 AI 엔지니어인 Scott Likens의 말을 인용하여 개방형 모델이 주요 고객 주제이지만 대규모 채택을 보지는 못했습니다. 이러한 계정은 IT Brew에 의해 보고되며 제공된 소스에서 독립적으로 확인되지 않습니다. 따라서 예제는 일반적인 채택 패턴을 설정하지 않고 관심을 보여줍니다. 그 중요성은 고려되는 질문의 범위에 있으며, 제공된 보고는 실험과 확인된 생산 사용을 계속해서 구별합니다.
왜 중요한가요?
보고서는 AI가 무엇을 할 수 있는지 묻는 것에서 대규모 운영에 드는 비용이 얼마인지 묻는 것으로 실질적인 전환을 설명합니다. 개방형 모델을 통해 기업은 호스팅 및 모델 선택에 대한 더 많은 제어권을 가질 수 있지만 평가, 사용자 정의, 보안, 거버넌스 및 가능한 편견에 대한 추가 책임도 발생합니다.
보고서는 개방형 모델을 단순한 기술 경쟁이 아닌 비용 및 제어 문제로 구성합니다. 초기 프로토타입을 넘어선 기업은 이제 단위 경제성에 영향을 미칠 만큼 추론 비용이 발생할 만큼 충분한 사용자 트래픽을 확보할 수 있습니다. IT Brew는 Allen Institute for AI의 AI 연구 책임자인 Iz Beltagy의 말을 인용하여 상당한 트래픽과 사용자 상호 작용 데이터를 보유한 기업은 로컬 또는 자체 관리 모델을 고려해야 할 더 강력한 이유가 있다고 말했습니다.
개방형 시스템은 독점 애플리케이션 프로그래밍 인터페이스가 제공하지 못하는 유연성을 제공할 수 있습니다. 기업은 잠재적으로 이를 클라우드나 자체 인프라에서 호스팅하고, 다양한 작업에 대해 다양한 모델을 선택하고, 하나의 공급자에 전적으로 의존하지 않을 수 있습니다. 기사에 따르면 경영진은 대기 시간 단축, 비용 효율성, 모델 제공업체가 경쟁 소프트웨어 제품을 개발할 가능성에 대한 보호에 특히 관심이 있다고 합니다. 설명된 회사에는 이러한 이점이 여전히 예상됩니다.
단점은 모델 가중치를 다운로드해도 배포 비용이나 위험이 제거되지 않는다는 것입니다. IT Brew는 조직이 보안 위험을 줄이기 위해 인프라 비용을 지불하고, 엄격한 평가를 수행하고, 모델을 미세 조정 또는 사용자 정의하고, 모델 출처를 조사해야 할 수 있다고 보고합니다. 이 기사는 또한 모델 작성자와 관련된 편견과 도구 호출과 같은 작업에 대한 기술적 성능이 광범위한 거버넌스 문제를 해결하기에 충분한지 여부에 대한 우려를 제기합니다. 소스는 독립적인 비용 비교, 보안 감사, 벤치마크 방법론 또는 생산 신뢰성 데이터를 제공하지 않습니다.
대화형 메커니즘: 실제로 작동하는 방식
이 개발의 이면에 있는 기본 기술을 대화식으로 살펴보세요.
Which component of an AI application is the machine-learning model itself?
다음에 무엇을 볼 것인가
핵심 지표는 실험이 생산으로 전환되는지 여부, 회사에서 개방형 가중치 모델에 할당하는 작업, 낮은 추론 비용이 설정 및 유지 관리 비용을 상쇄하는지 여부입니다. 기업은 또한 중국 기업이 개발한 모델이 고객 대상 또는 규제 대상 용도로 허용되는지 여부를 결정해야 합니다.
즉각적인 질문은 IT Brew가 인용한 회사가 평가를 넘어선 것인지 여부입니다. SmartBear의 라우팅 계획, Tanium의 모델 및 거버넌스 검토, 더 간단한 작업을 위한 Smartsheet의 개방형 시스템 사용 가능성은 모두 탐색적인 것으로 설명됩니다. 소스는 배포 날짜, 채택량, 측정된 절감액, 오류율 또는 실험이 고객 대상 생산에 도달했다는 증거를 제공하지 않습니다.
모델 선택은 또 다른 중요한 신호가 될 것입니다. 이 기사에서는 관심을 끄는 모델의 예로 Z.ai의 GLM-5 및 DeepSeek v4와 같은 중국 시스템을 식별하는 동시에 미국 회사의 개방형 제품도 언급했습니다. 기업은 벤치마크 성능뿐만 아니라 라이선스, 업데이트 관행, 교육 데이터 출처, 보안 노출, 검열 또는 편견 문제, 민감한 정보 처리 등을 평가해야 합니다. IT Brew는 이러한 우려 사항을 보고하지만 독립적으로 확인하지는 않습니다.
마지막으로, 사용량이 증가함에 따라 경제성이 변화하는지 살펴보세요. 보고서는 기업이 복잡한 작업을 위해 값비싼 프론티어 모델을 유지하면서 일상적인 요청을 저렴한 시스템에 보내 다중 모델 전략을 세울 수 있음을 시사합니다. 이러한 접근 방식은 평균 비용을 낮출 수 있지만 라우팅, 모니터링 및 품질 관리 오버헤드를 추가할 수 있습니다. 제공된 소스는 개방형 모델이 총 비용을 실질적으로 절감하거나 독점 공급자를 대체하거나 엔터프라이즈 AI 전체에서 표준이 될 것이라는 점을 입증하지 않습니다.