HejuruUbuyobozi bukurikira
Kugereranya ibiciro bya LLM API ningengo yimari
Tekiniki
Ubuyobozi bwa tekiniki
LLM APIs yishyuza kuri buri kimenyetso, igice cyinyandiko hafi ya bitatu bya kane byijambo ryicyongereza.
Umva iki gitaboAI-byavuzwe · ~3 min
Ibimenyetso byinjiza wohereje nibisohoka ibimenyetso byerekana moderi itanga bifite ibiciro bitandukanye, kandi ibisohoka mubisanzwe bigura inshuro nyinshi. Kugereranya ikiguzi, kubara ibimenyetso hamwe na tokenizer yabatanga cyangwa kubara amaherezo hanyuma ugwize impande zose kubiciro bya miliyoni. Shyiramo ibimenyetso byihishe nka sisitemu isaba, amateka yo kuganira no gutekereza.
Abanyamideli ntibasoma inyuguti cyangwa amagambo muburyo butaziguye. A tokenizer igabanya inyandiko mubimenyetso, nibisanzwe biranga inyigisho zize mumahugurwa yamakuru. Itegeko risanzwe ryicyongereza ni inyuguti enye, cyangwa bitatu bya kane byijambo, kuri buri kimenyetso. Ibyo bishyira amagambo 1.000 hafi 1,300 kugeza 1.400. Kode, imibare, amazina adasanzwe nindimi nyinshi zitari Icyongereza zikoresha ibimenyetso byinshi kumagambo. Buri muryango wicyitegererezo ufite tokenizer yayo, kubwibyo inyandiko imwe irashobora gutanga imibare itandukanye hamwe nababitanga. Ibiciro mubisanzwe byavuzwe kuri miriyoni yikimenyetso, hamwe nibiciro byinjiza nibisohoka. Ibisohoka bisohoka bitwara amafaranga menshi kuko icyitegererezo kibyara kimwe kimwe, mugihe gishobora gutunganya ibimenyetso byinjiza muburyo bubangikanye. Ibisohoka bikunze kugurwa inshuro nyinshi igipimo cyinjiza, akenshi ahantu hagati yinshuro enye n'umunani, nubwo ibipimo bitandukanye muburyo bw'icyitegererezo. Dore urugero rwakozwe hamwe nibiciro byakozwe: kwinjiza $ 3 kuri miriyoni ya tokoni nibisohoka kuri $ 15 kuri miliyoni. Igikorwa cyohereza ibimenyetso 6.000 byinjira (sisitemu ya sisitemu, amabwiriza ninyandiko) hanyuma igaruka 800 ibisohoka. - Iyinjiza: 6,000 x $ 3 / 1.000.000 = $ 0.018 - Ibisohoka: 800 x $ 15 / 1.000.000 = $ 0.012 - Igiteranyo: $ 0.03 kumurimo Ku mirimo 10,000 10,000 kumunsi, igera kumadorari 300 kumunsi. Inyemezabuguzi nyayo akenshi itungura abantu, kubwimpamvu ziteganijwe: - Porogaramu zo kuganira zohereza ikiganiro cyose kuri buri gihe, bityo ibyinjira bikura hamwe na buri butumwa. - Gutekereza kubitekerezo bitanga ibimenyetso byimbere byimbere bisohoka nkibisohoka, nubwo biterekanwa byuzuye. - Igisobanuro cyibikoresho, inyandiko zagaruwe hamwe namashusho byose bibarwa nkibyinjijwe. - Gusubiramo no guhamagarwa byananiranye bisaba amafaranga nayo. Ibitekerezo bitatu bitari byo birasanzwe: ibyo bimenyetso byamagambo angana, kuzuza idirishya ryerekana imiterere yubusa ni ubuntu, kandi ko icyitegererezo hamwe nigiciro gito kuri buri kimenyetso gihora gihendutse kumurimo. Icyitegererezo gikomeye kirangiza kugerageza gake kirashobora kugura make muri rusange.
Iterambere rikoresha OpenAI isomero rifungura isoko ya tiktoken isomero kugirango ibare ingingo 3.000 yamagambo mbere yo kohereza. Iza ku bimenyetso bigera ku 4000, kandi ishyiraho ingengo yimari ihuye.
Itsinda rya chatbot risanga ibyinshi byishyurwa biva muburyo bwo kohereza sisitemu ya token 2000 hamwe namateka yuzuye yo kuganira kuri buri gihe. Igabanya ibiciro mu ncamake impinduka zishaje no gukoresha byihuse.
Isosiyete itunganya ibicuruzwa 50.000 ijoro ryose yimura akazi kumurongo wabatanga API. Icyiciro API yishyuza make, kandi mubisubizo ibisubizo bigera mumasaha aho kuba amasegonda.
Itsinda rihindura ibiri mu ngengo yimari y’Igihinde n’Ubuyapani kurenza page kurusha icyongereza. Hamwe nibimenyetso bisanzwe, ibisobanuro bimwe akenshi bifata ibimenyetso byinshi murizo ndimi.
Ibiciro kuri buri kimenyetso kurwego runaka rwubushobozi byagabanutse cyane mumyaka mike ishize. Amafaranga yose yakoreshejwe akenshi azamuka uko byagenda kose, kuberako porogaramu zikoresha ibintu birebire, abakozi bahamagara benshi kandi moderi zo gutekereza zitanga umusaruro mwinshi. Igiciro nacyo kigenda gitandukana, hamwe nibiciro bitandukanye kubintu byinjijwe neza, ibyifuzo birebire-bisabwa, akazi keza hamwe nibitekerezo. Ibyo bituma ari ngombwa gupima imikoreshereze nyayo kuri buri gikorwa kuruta kugereranya ibiciro byumutwe. Ibikoresho byigiciro nka bije, kuri buri kintu kiranga ibiciro bikurikirana hamwe na moderi yerekana inzira irashobora guhinduka ibice bisanzwe bya porogaramu ya LLM.
Ibaruwa y'amakuru y'ubuntu
Inkuru eshatu zizewe za AI buri gitondo cy'iminsi y'akazi, zanditse mu rurimi rworoshye. Ubuntu iteka ryose, nta kwamamaza.
Imeri imwe buri munsi y'akazi. Kwiyimura mu buryo bumwe. Ntitwigera tugurisha cyangwa ngo dusangire aderesi yawe.
Isuzume
Ibisubizo ako kanya kuri buri kibazo, n'icyemezo gishobora gusangirwa gifite ID yagenzurwa umaze gutsinda isomo.
Fasha uburezi bwa AI bw'ubuntu. AI Understanding ni umuryango utegamiye kuri leta wa 501(c)(3) — nta kwamamaza, nta kwishyura, iteka ryose. Tanga impano
LLM APIs yishyuza kuri buri kimenyetso, igice cyinyandiko hafi ya bitatu bya kane byijambo ryicyongereza. Ibimenyetso byinjiza wohereje nibisohoka ibimenyetso byerekana moderi itanga bifite ibiciro bitandukanye, kandi ibisohoka mubisanzwe bigura inshuro nyinshi. Kugereranya ikiguzi, kubara ibimenyetso hamwe na tokenizer yabatanga cyangwa kubara amaherezo hanyuma ugwize impande zose kubiciro bya miliyoni. Shyiramo ibimenyetso byihishe nka sisitemu isaba, amateka yo kuganira no gutekereza.
Icyongereza kigereranya inyuguti enye cyangwa amagambo 0,75 kuri buri kimenyetso, bityo amagambo 1.000 ni hafi 1,300 kugeza 1,400.
Gukora ibimenyetso umwe umwe bifata igihe cyo kubara kuruta gutunganya ibyinjijwe muburyo bubangikanye.
6,000 x 3 / 1.000.000 = $ 0.018 na 800 x 15 / 1.000.000 = $ 0.012, wongeyeho $ 0.03.
Buri butumwa bushya busanzwe burimo impinduka zose zabanjirije iyi, bityo ibimenyetso byinjira birundarunda keretse amateka yatunganijwe cyangwa muri make.
Ibimenyetso byo gutekereza byakozwe na moderi, bityo byishyurwa nkibisohoka nubwo utabona byose.
Komeza wige
Abandi bayobozi batoranijwe kuriyi ngingo
HejuruUbuyobozi bukurikira
Kugereranya ibiciro bya LLM API ningengo yimari
Tekiniki