Tilbake til Nyheter
IndustriAI Understanding orientering

AI-startups går over til åpen kildekode-modeller for å kutte kostnader

Stigende API-avgifter fra OpenAI og Anthropic driver oppstart av AI-applikasjoner som Harvey og Abridge til å ta i bruk åpne vektmodeller for å gjenvinne kostnadskontroll og beskytte marginer foran store børsnoteringer.

4 min readRead the linked source
Source-provided image accompanying AI startups shift to open-source models to cut costs
KildereferanseKilde registrert
Utgiver
eu.36kr.com
Kilde lenke
eu.36kr.comhttps://eu.36kr.com/en/p/3993902723201797
Kildetype
Koblet kilde – status for primærkilde er ikke etablert.
KontekstForstå dette på 60 sekunder

Start her

Nøkkelord

API (Application Programming Interface)
En strukturert måte for ett programvaresystem å sende forespørsler til og motta svar fra et annet system.
Åpen kildekode-modell
En modell utgitt med offentlige vekter eller kode for inspeksjon, tilpasning og gjenbruk.
Finjustering
Fortsatt opplæring på domenespesifikke data for å tilpasse en forhåndstrent modell til en spesifikk oppgave.
Test deg selvQuiz for forklaring av AI-modeller

Hva skjedde

Oppstart av AI-applikasjoner tar i økende grad i bruk åpne vektmodeller for å redusere økende API-kostnader fra OpenAI og Anthropic. Harvey, en lovlig AI-enhjørning, så bruttomarginen fall til -50 % i juni på grunn av høy bruk av OpenAIs GPT-4. Som svar ga Harvey ut en selveid modell støttet av Moonshot AIs Kimi K3, som gjenopprettet positive marginer. Andre selskaper, inkludert Abridge, Decagon og Ramp, utvikler eller tilpasser også sine egne modeller, med noen som migrerer opptil 80 % av trafikken til selveide systemer. Dette skiftet er drevet av aggressive prisstrategier fra modellleverandører og forbedring av ytelsen til åpen kildekode-alternativer.

Harvey, en lovlig AI-oppstart verdt 15,6 milliarder dollar, opplevde et betydelig fall i bruttomarginen fra 50 % til -50 % i juni på grunn av høye API-kostnader fra OpenAIs GPT-4. For å løse dette, ga Harvey ut en selveid modell i august, støttet av Moonshot AIs Kimi K3, som tilbyr ytelse nær Anthropics beste produkter til en brøkdel av prisen, og gjenoppretter positive marginer.

Trenden sprer seg over flere bransjer. Abridge bygger en grunnleggende modell for kliniske scenarier ved å bruke NVIDIAs åpen kildekode-modell, mens Decagon behandler 80 % av sine spørringsforespørsler med sin selveide modell. Innen fintech utforsker Ramp og Rogo egentrening, og i programmeringsverktøy har Cursor og Cognition gitt ut tilpassede modeller.

OpenAI og Anthropic har gått over til å belaste bedriftsbrukere ekstra for modellbruk, og straffe høyvolums 'token-maksimerende' mønstre. I tillegg rekrutterer begge selskapene talent i kjernespor for oppstart og lanserer bransjespesifikke plugins, noe som skaper direkte konkurranse med kundene sine. Risikoen for suspensjon av tilgang, som sett med Cursor etter oppkjøpet av SpaceX, oppmuntrer startups ytterligere til å søke modelluavhengighet.

Til tross for skiftet forventer ikke de fleste startups å forlate OpenAI og Anthropic helt. Harvey er fortsatt avhengig av Anthropics Claude Opus for komplekse oppgaver, noe som indikerer en strategi for blandet bruk. Utfordringer gjenstår, inkludert høye talentkostnader for finjusteringsingeniører, behovet for proprietære data og betydelige infrastrukturutgifter for å administrere åpne modeller.

Kildedetaljer: eu.36kr.com

Hvorfor det betyr noe

Denne trenden signaliserer et strukturelt skifte i AI-industriens kostnadsdynamikk, ettersom applikasjonslagselskaper forsøker å redusere avhengigheten av dyre proprietære APIer. For OpenAI og Anthropic, som forbereder seg på børsnoteringer, kan utstrømmingen av bedriftskunder til modeller med åpen vekt erodere deres primære inntektsstrømmer. Flyttingen fremhever også den økende levedyktigheten til åpen kildekode-modeller som et kostnadseffektivt alternativ, som potensielt omformer det konkurransedyktige landskapet og tvinger modellleverandører til å justere sine priser og forretningsstrategier for å beholde bedriftskunder.

Adopsjonen av åpne vektmodeller av store AI-startups representerer et betydelig kostnadsbesparende tiltak som kan endre inntektsdynamikken for OpenAI og Anthropic, spesielt når de forbereder seg på børsnoteringer. Dette skiftet kan tvinge modellleverandører til å revurdere sine prisstrategier og bedriftstilbud for å opprettholde kundelojalitet.

Den forbedrede ytelsen til modeller med åpen kildekode, som Moonshot AIs Kimi K3, gjør dem til et levedyktig alternativ til proprietære API-er for mange bruksområder. Denne utviklingen kan akselerere demokratiseringen av AI-evner og redusere adgangsbarrieren for nye AI-applikasjoner, og fremme innovasjon i sektorer som juridisk, helsevesen og finans.

Trenden fremhever også den økende betydningen av data og infrastruktur i AI-utvikling. Startups må investere i proprietære data og dataressurser for å trene effektive modeller, noe som kan skape nye muligheter for dataleverandører og skyinfrastrukturselskaper samtidig som det utgjør utfordringer for mindre bedrifter med begrensede ressurser.

Interactive Mechanism

Interaktiv mekanisme: Hvordan det faktisk fungerer

Utforsk den underliggende teknologien bak denne utviklingen interaktivt.

Model Parameter Size:8B Parameters
VRAM Required5.5 GBGPU memory footprint
Target HardwareMacBook / Single GPUDeployment tier
Privacy100% Air-GappedLocal device capability
Core takeaway: Small, quantized models (3B–8B) now run directly inside smartphones and laptops with complete data privacy, while mammoth 400B+ models remain the domain of datacenter clusters.
Interaktiv konseptsjekk+10 Points
AI Models Explained Quiz

In AI, what are a model's "parameters"?

Hva du skal se neste

Overvåk den økonomiske ytelsen til OpenAI og Anthropic når de nærmer seg børsnoteringer, spesielt eventuelle endringer i API-priser eller strategier for oppbevaring av bedrifter. Følg bruksratene for åpne vektmodeller blant store oppstart av AI-applikasjoner og utviklingen av nye selveide modeller i sektorer som helsevesen, finans og juridiske tjenester. Observer også virkningen av talent- og infrastrukturkostnader på gjennomførbarheten av selvtreningsmodeller for mindre startups.

Se etter eventuelle endringer i OpenAI og Anthropics API-priser eller bedriftskontrakter som svar på den økende bruken av åpne vektmodeller. Deres evne til å beholde bedriftskunder vil være avgjørende for deres børsnoteringsverdier og langsiktig bærekraft.

Overvåk ytelsen og bruken av nye selveide modeller fra startups som Harvey, Abridge og Decagon. Suksess på disse områdene kan validere åpen kildekode-tilnærmingen og oppmuntre til ytterligere migrering bort fra proprietære API-er.

Observer virkningen av talent- og infrastrukturkostnader på gjennomførbarheten av selvtreningsmodeller. Hvis disse barrierene forblir høye, kan mindre startups fortsette å stole på en blanding av åpne og lukkede kildemodeller, mens større firmaer kan forplikte seg fullt ut til selveide løsninger.

Relaterte guider og quizer

AI-modeller forklartKI-etikkKIs fremtidTest det du vet – prøv en gratis AI-quizSlå opp et AI-begrep i ordlisten vår
Fant du dette nyttig?