Tillbaka till Nyheter
IndustriAI Understanding genomgång

Nystartade AI-företag går över till modeller med öppen källkod för att minska kostnaderna

Stigande API-avgifter från OpenAI och Anthropic driver startups av AI-applikationer som Harvey och Abridge att anta modeller med öppen vikt för att återfå kostnadskontroll och skydda marginalerna inför stora börsintroduktioner.

4 min readRead the linked source
Source-provided image accompanying AI startups shift to open-source models to cut costs
KällhänvisningKälla inspelad
Förläggare
eu.36kr.com
Källlänk
eu.36kr.comhttps://eu.36kr.com/en/p/3993902723201797
Källtyp
Länkad källa – status för primär källa har inte fastställts.
SammanhangFörstå detta på 60 sekunder

Börja här

Nyckeltermer

API (Application Programming Interface)
Ett strukturerat sätt för ett mjukvarusystem att skicka förfrågningar till och ta emot svar från ett annat system.
Modell med öppen källkod
En modell släppt med offentliga vikter eller kod för inspektion, anpassning och återanvändning.
Finjustering
Fortsatt utbildning om domänspecifik data för att anpassa en förtränad modell till en specifik uppgift.
Testa dig självAI Models Explained Quiz

Vad hände

Startups av AI-applikationer använder i allt större utsträckning modeller med öppen vikt för att mildra stigande API-kostnader från OpenAI och Anthropic. Harvey, en laglig AI-enhörning, såg sin bruttomarginal sjunka till -50 % i juni på grund av hög användning av OpenAI:s GPT-4. Som svar släppte Harvey en egenägd modell med stöd av Moonshot AI:s Kimi K3, som återställde positiva marginaler. Andra företag, inklusive Abridge, Decagon och Ramp, utvecklar eller anpassar också sina egna modeller, med vissa migrerar upp till 80 % av trafiken till egenägda system. Denna förändring drivs av aggressiva prisstrategier från modellleverantörer och förbättrad prestanda för alternativ med öppen källkod.

Harvey, en legal AI-startup värd 15,6 miljarder dollar, upplevde en betydande minskning av bruttomarginalen från 50 % till -50 % i juni på grund av höga API-kostnader från OpenAI:s GPT-4. För att komma till rätta med detta släppte Harvey en självägd modell i augusti, med stöd av Moonshot AI:s Kimi K3, som erbjuder prestanda nära Anthropic:s bästa produkter till en bråkdel av kostnaden, vilket återställer positiva marginaler.

Trenden sprider sig över flera branscher. Abridge bygger en grundmodell för kliniska scenarier med hjälp av NVIDIAs modell med öppen källkod, medan Decagon bearbetar 80 % av sina frågeförfrågningar med sin egenägda modell. Inom fintech utforskar Ramp och Rogo självträning, och inom programmeringsverktyg har Cursor och Cognition släppt skräddarsydda modeller.

OpenAI och Anthropic har gått över till att debitera företagsanvändare extra för modellanvändning, vilket straffar "tokenmaximerande" mönster med stora volymer. Dessutom rekryterar båda företagen talang inom startup-core tracks och lanserar branschspecifika plugins, vilket skapar direkt konkurrens med sina kunder. Risken för tillträdesavstängning, som sett med Cursor efter dess förvärv av SpaceX, uppmuntrar startups ytterligare att söka modelloberoende.

Trots förändringen förväntar sig de flesta startups inte att helt överge OpenAI och Anthropic. Harvey förlitar sig fortfarande på Anthropic:s Claude Opus för komplexa uppgifter, vilket indikerar en strategi för blandad användning. Utmaningar kvarstår, inklusive höga talangkostnader för finjusterande ingenjörer, behovet av egen data och betydande infrastrukturkostnader för att hantera öppna modeller.

Källinformation: eu.36kr.com

Varför det spelar roll

Denna trend signalerar en strukturell förändring i AI-branschens kostnadsdynamik, eftersom företag i applikationsskikt försöker minska beroendet av dyra proprietära API:er. För OpenAI och Anthropic, som förbereder sig för börsintroduktioner, kan utflödet av företagskunder till modeller med öppen vikt urholka deras primära intäktsströmmar. Flytten belyser också den växande lönsamheten för modeller med öppen källkod som ett kostnadseffektivt alternativ, vilket potentiellt omformar det konkurrensutsatta landskapet och tvingar modellleverantörer att justera sina prissättnings- och affärsstrategier för att behålla företagskunder.

Antagandet av öppna modeller av stora AI-startups representerar en betydande kostnadsbesparande åtgärd som kan förändra intäktsdynamiken för OpenAI och Anthropic, särskilt när de förbereder sig för börsintroduktioner. Denna förändring kan tvinga modellleverantörer att ompröva sina prisstrategier och företagserbjudanden för att upprätthålla kundlojalitet.

Den förbättrade prestandan hos modeller med öppen källkod, som Moonshot AI:s Kimi K3, gör dem till ett lönsamt alternativ till proprietära API:er för många användningsområden. Denna utveckling kan påskynda demokratiseringen av AI-kapacitet och minska inträdesbarriären för nya AI-applikationer, främja innovation inom sektorer som juridik, hälsovård och finans.

Trenden belyser också den växande betydelsen av data och infrastruktur i AI-utveckling. Nystartade företag måste investera i proprietära data och datorresurser för att träna effektiva modeller, vilket kan skapa nya möjligheter för dataleverantörer och molninfrastrukturföretag samtidigt som det innebär utmaningar för mindre företag med begränsade resurser.

Interactive Mechanism

Interaktiv mekanism: hur det faktiskt fungerar

Utforska den underliggande tekniken bakom denna utveckling interaktivt.

Model Parameter Size:8B Parameters
VRAM Required5.5 GBGPU memory footprint
Target HardwareMacBook / Single GPUDeployment tier
Privacy100% Air-GappedLocal device capability
Core takeaway: Small, quantized models (3B–8B) now run directly inside smartphones and laptops with complete data privacy, while mammoth 400B+ models remain the domain of datacenter clusters.
Interaktiv konceptkontroll+10 Points
AI Models Explained Quiz

In AI, what are a model's "parameters"?

Vad du ska titta på härnäst

Övervaka det ekonomiska resultatet för OpenAI och Anthropic när de närmar sig sina börsintroduktioner, särskilt eventuella förändringar i API-prissättning eller strategier för att behålla företaget. Spåra användningsfrekvensen för modeller med öppen vikt bland stora startups av AI-applikationer och utvecklingen av nya egenägda modeller inom sektorer som hälsovård, finans och juridiska tjänster. Observera också effekten av talang- och infrastrukturkostnader på genomförbarheten av självträningsmodeller för mindre startups.

Håll utkik efter eventuella ändringar i OpenAI och Anthropic:s API-prissättning eller företagskontrakt som svar på det växande antagandet av modeller med öppen vikt. Deras förmåga att behålla företagskunder kommer att vara avgörande för deras IPO-värderingar och långsiktig hållbarhet.

Övervaka prestandan och införandet av nya egenägda modeller från startups som Harvey, Abridge och Decagon. Framgång inom dessa områden kan validera öppen källkodsmetod och uppmuntra ytterligare migrering bort från proprietära API:er.

Observera inverkan av talang- och infrastrukturkostnader på genomförbarheten av självträningsmodeller. Om dessa barriärer förblir höga kan mindre nystartade företag fortsätta att förlita sig på en blandning av modeller med öppen och sluten källkod, medan större företag helt kan engagera sig i egna lösningar.

Relaterade guider och frågesporter

AI-modeller förklarasAI-etikAI:s framtidTesta vad du vet – prova ett gratis AI-quizSlå upp en AI-term i vår ordlista
Hittade du detta användbart?