Înapoi la Știri
IndustriaAI Understanding briefing

Startup-urile AI trec la modele open-source pentru a reduce costurile

Creșterea taxelor API de la OpenAI și Anthropic determină startup-urile de aplicații AI precum Harvey și Abridge să adopte modele deschise pentru a recâștiga controlul costurilor și a proteja marjele înaintea IPO-urilor majore.

4 min readRead the linked source
Source-provided image accompanying AI startups shift to open-source models to cut costs
Referință la sursăSursa înregistrată
Editor
eu.36kr.com
Link sursă
eu.36kr.comhttps://eu.36kr.com/en/p/3993902723201797
Tip sursă
Sursă conectată — starea sursei primare nu a fost stabilită.
ContextÎnțelege asta în 60 de secunde

Începeți de aici

Termeni cheie

API (Interfață de programare a aplicației)
O modalitate structurată pentru ca un sistem software să trimită cereri și să primească răspunsuri de la un alt sistem.
Model open-source
Un model lansat cu greutăți publice sau cod pentru inspecție, adaptare și reutilizare.
Reglaj fin
Formarea continuă cu privire la datele specifice domeniului pentru a adapta un model pre-antrenat la o anumită sarcină.
Testează-teTest explicativ pentru modelele AI

Ce sa întâmplat

Startup-urile de aplicații AI adoptă din ce în ce mai mult modele deschise pentru a atenua creșterea costurilor API de la OpenAI și Anthropic. Harvey, un unicorn legal cu inteligență artificială, și-a văzut marja brută scăzută la -50% în iunie din cauza utilizării ridicate a GPT-4 de la OpenAI. Ca răspuns, Harvey a lansat un model propriu, susținut de Kimi K3 de la Moonshot AI, care a restabilit marjele pozitive. Alte companii, inclusiv Abridge, Decagon și Ramp, își dezvoltă sau își personalizează propriile modele, unele migrând până la 80% din trafic către sisteme proprii. Această schimbare este determinată de strategiile agresive de prețuri ale furnizorilor de modele și de îmbunătățirea performanței alternativelor open-source.

Harvey, un startup legal de AI evaluat la 15,6 miliarde de dolari, a înregistrat o scădere semnificativă a marjei brute de la 50% la -50% în iunie, din cauza costurilor ridicate API de la OpenAI GPT-4. Pentru a rezolva acest lucru, Harvey a lansat un model propriu în august, susținut de Kimi K3 de la Moonshot AI, care oferă performanțe apropiate de cele mai bune produse Anthropic la o fracțiune din cost, restabilind marje pozitive.

Tendința se răspândește în mai multe industrii. Abridge construiește un model de bază pentru scenariile clinice folosind modelul open-source al lui NVIDIA, în timp ce Decagon procesează 80% din solicitările sale de interogări cu modelul propriu. În fintech, Ramp și Rogo explorează auto-instruirea, iar în instrumentele de programare, Cursor și Cognition au lansat modele personalizate.

OpenAI și Anthropic au trecut la taxarea suplimentară a utilizatorilor întreprinderilor pentru utilizarea modelului, pedepsirea tiparelor de „maximizare a simbolurilor” de volum mare. În plus, ambele companii recrutează talente în piese de bază ale startup-urilor și lansează pluginuri specifice industriei, creând concurență directă cu clienții lor. Riscul suspendării accesului, așa cum sa observat cu Cursor după achiziția sa de către SpaceX, stimulează și mai mult startup-urile să caute independența modelului.

În ciuda schimbării, majoritatea startup-urilor nu se așteaptă să abandoneze complet OpenAI și Anthropic. Harvey se bazează în continuare pe Anthropic Claude Opus pentru sarcini complexe, ceea ce indică o strategie de utilizare mixtă. Rămân provocări, inclusiv costurile mari pentru talentul pentru inginerii de reglare fină, nevoia de date proprietare și cheltuieli semnificative de infrastructură pentru gestionarea modelelor deschise.

Detalii sursa: eu.36kr.com

De ce contează

Această tendință semnalează o schimbare structurală în dinamica costurilor industriei AI, deoarece companiile din stratul de aplicații încearcă să reducă dependența de API-urile proprietare scumpe. Pentru OpenAI și Anthropic, care se pregătesc pentru IPO, ieșirea clienților întreprinderilor către modele deschise ar putea eroda fluxurile lor principale de venituri. Mișcarea evidențiază, de asemenea, viabilitatea în creștere a modelelor open-source ca o alternativă rentabilă, potențial remodelând peisajul competitiv și forțând furnizorii de modele să își ajusteze prețurile și strategiile de afaceri pentru a păstra clienții întreprinderilor.

Adoptarea modelelor deschise de către marile startup-uri AI reprezintă o măsură semnificativă de economisire a costurilor, care ar putea modifica dinamica veniturilor pentru OpenAI și Anthropic, mai ales pe măsură ce se pregătesc pentru IPO. Această schimbare poate forța furnizorii de modele să-și reconsidere strategiile de prețuri și ofertele întreprinderilor pentru a menține loialitatea clienților.

Performanța îmbunătățită a modelelor open-source, cum ar fi Kimi K3 de la Moonshot AI, le face o alternativă viabilă la API-urile proprietare pentru multe cazuri de utilizare. Această dezvoltare ar putea accelera democratizarea capabilităților AI și ar putea reduce bariera de intrare pentru noile aplicații AI, încurajând inovația în sectoare precum juridic, sănătate și finanțe.

Tendința subliniază, de asemenea, importanța tot mai mare a datelor și a infrastructurii în dezvoltarea AI. Startup-urile trebuie să investească în date proprietare și resurse de calcul pentru a instrui modele eficiente, care ar putea crea noi oportunități pentru furnizorii de date și companiile de infrastructură cloud, punând în același timp provocări pentru firmele mai mici cu resurse limitate.

Interactive Mechanism

Mecanism interactiv: cum funcționează de fapt

Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.

Model Parameter Size:8B Parameters
VRAM Required5.5 GBGPU memory footprint
Target HardwareMacBook / Single GPUDeployment tier
Privacy100% Air-GappedLocal device capability
Core takeaway: Small, quantized models (3B–8B) now run directly inside smartphones and laptops with complete data privacy, while mammoth 400B+ models remain the domain of datacenter clusters.
Verificare interactivă a conceptului+10 Points
AI Models Explained Quiz

In AI, what are a model's "parameters"?

Ce să urmărești în continuare

Monitorizați performanța financiară a OpenAI și Anthropic pe măsură ce se apropie de IPO-urile lor, în special orice modificare a prețurilor API sau a strategiilor de păstrare a întreprinderii. Urmăriți ratele de adoptare a modelelor deschise în rândul startup-urilor majore de aplicații AI și dezvoltarea de noi modele proprii în sectoare precum asistența medicală, finanțele și serviciile juridice. De asemenea, observați impactul costurilor talentelor și infrastructurii asupra fezabilității modelelor de autoformare pentru startup-urile mai mici.

Urmăriți orice modificări ale prețurilor API ale OpenAI și Anthropic sau ale contractelor de întreprindere ca răspuns la adoptarea în creștere a modelelor deschise. Capacitatea lor de a păstra clienții întreprinderii va fi crucială pentru evaluările lor IPO și sustenabilitatea pe termen lung.

Monitorizați performanța și adoptarea noilor modele proprii de la startup-uri precum Harvey, Abridge și Decagon. Succesul în aceste domenii ar putea valida abordarea open-source și ar putea încuraja migrarea în continuare de la API-urile proprietare.

Observați impactul costurilor talentelor și infrastructurii asupra fezabilității modelelor de autoformare. Dacă aceste bariere rămân mari, startup-urile mai mici pot continua să se bazeze pe un amestec de modele deschise și închise, în timp ce firmele mai mari se pot angaja pe deplin în soluții proprii.

Ghiduri și chestionare conexe

Modelele AI explicateEtica IAViitorul IATestați ceea ce știți — încercați un test AI gratuitCăutați un termen AI în glosarul nostru
Ai găsit asta util?