Co se stalo
The Lec uvádí, že Qualcomm 10. září odhalil novou generaci neurální procesorové jednotky Hexagon pro nepřetržité agentní pracovní zatížení AI na mobilních zařízeních. Uvedený návrh přidává akcelerátor prvků pro pracovní zátěž transformátoru, zvyšuje sdílenou paměť o 50 % a podporuje modely smíšeného odborníka s až 30 miliardami parametrů, se zhruba 3 miliardami aktivních pro každý vygenerovaný token. Podle The Lec podporuje NPU datové formáty FP16, INT2, INT4, INT8 a FP8. Qualcomm tvrdí, že výkon předvyplnění INT4 může být až o 50 % rychlejší a že reakce mohou začít do 1,5 sekundy, ačkoli The Lec neuvádí nezávislé testování těchto čísel. NPU je určen pro spolupráci s procesorem Oryon Snapdragon a GPU Adreno pro vícekrokové pracovní postupy a zpracování AI související s grafikou. Zpráva říká, že Qualcomm poskytne další podrobnosti na Snapdragon Summit ve Spojených státech od 22. do 24. září. Zdroj neidentifikuje konkrétní smartphone, datum uvedení, maloobchodní dostupnost, cenu ani potvrzené výsledky benchmarků třetích stran.
The Lec uvádí, že Qualcomm 10. září představil svou novou generaci NPU Hexagon a umístil ji jako mobilní hardware pro systémy AI, které interpretují kontext, důvody napříč aplikacemi a provádějí úkoly pro uživatele. Hlášený hardware přidává akcelerátor prvků vedle stávajících skalárních, vektorových a maticových rozšíření s cílem zlepšit výpočty modelu transformátoru při řízení spotřeby energie.
Zpráva říká, že kapacita sdílené paměti je o 50 % vyšší než u předchozího návrhu. Zdůvodněním Qualcommu je, že udržování stavu modelu, aktivací a mezilehlých dat tenzoru blíže k procesoru může snížit přenosy do externí paměti DRAM, což může potenciálně zlepšit uchovávání kontextu a přepínání úloh. Zpráva neposkytuje nezávislé srovnání s dřívější implementací společnosti Hexagon.
Nový Hexagon údajně podporuje modely smíšených odborníků s až 30 miliardami parametrů, přičemž aktivuje asi 3 miliardy směrovaných parametrů na token. Lec také hlásí NAND flash-to-memory management a caching určený k načtení pouze relevantních expertních komponent do DRAM a uchování často používaných komponent v cache.
NPU údajně podporuje přesné formáty FP16, INT2, INT4, INT8 a FP8. Lec připisuje společnosti Qualcomm nároky na až o 50 % rychlejší předvyplnění INT4 a zahájení odezvy do 1,5 sekundy. Nejsou poskytovány žádné nezávislé testy, dostupnost zařízení, ceny ani konkrétní spotřebitelské produkty.
Podrobnosti o zdroji: thelec.net ↗
Proč na tom záleží
Pokud se oznámený design Qualcommu dostane do spotřebitelských zařízení, jak je popsáno, mohlo by to učinit větší a kontextově uvědomělejší systémy umělé inteligence praktičtější pro místní provoz na telefonech. Uchování většího množství dat modelu v blízkosti procesoru může snížit provoz paměti a latenci, zatímco architektura se smíšenými odborníky může poskytnout přístup ke specializovaným funkcím bez aktivace každého parametru pro každou úlohu. To je důležité pro soukromí, odezvu a offline použití, ale praktický přínos zůstává neověřený, dokud nebudou k dispozici zařízení, modely a nezávislé testy.
Oznámení se zaměřuje na hlavní omezení v mobilní umělé inteligenci: provozování schopných modelů v rámci přísných limitů šířky pásma paměti, využití baterie a latence. Větší fond sdílené paměti a selektivní aktivace komponent se směsí expertů by mohly snížit množství dat přesouvaných během lokální inference, pokud bude architektura Qualcommu fungovat tak, jak je popsáno.
Místní zpracování může mít praktické výhody, protože některé interakce mohou být zpracovány na telefonu, aniž by se každý vstup posílal vzdálené službě. Zdroj však nestanoví záruky ochrany osobních údajů, offline funkčnost, vylepšení baterie nebo výkon napříč skutečnými aplikacemi. Tyto výsledky závisí na softwaru, kompresi modelu, teplotních limitech a implementaci sluchátka.
Hlášená integrace s CPU a GPU naznačuje, že Qualcomm zachází s agentní AI jako s pracovní zátěží platformy spíše než s izolovanou funkcí akcelerátoru. Jeho význam bude záviset na tom, zda vývojáři mohou efektivně přistupovat k hardwaru a zda výrobci telefonů dodávají modely a aplikace, které jej používají.
Interaktivní mechanismus: Jak to vlastně funguje
Interaktivně prozkoumejte základní technologii tohoto vývoje.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Na co se dále dívat
Dalším smysluplným důkazem budou odhalení Snapdragon Summit společnosti Qualcomm a případná zařízení využívající NPU. Sledujte pojmenované čipové platformy, podporované modely, vývojářské nástroje, skutečná měření na zařízení, trvalou spotřebu energie a zda se uváděné doby odezvy vztahují spíše na kompletní agentní pracovní postupy než na omezené ukázky. Dostupnost, ceny a regionální distribuce nejsou ve zprávě zdokumentovány.
Qualcomm říká, že další podrobnosti budou odhaleny na Snapdragon Summit od 22. do 24. září. Tato zveřejnění mohou objasnit konkrétní platformu Snapdragon, časovou osu nasazení, podporovaná operační prostředí a přístup pro vývojáře.
Nezávislé testování by mělo ověřit hlášené zlepšení výkonu INT4, požadavek na 1,5sekundovou odezvu-start, spotřebu energie a trvalý výkon při vícestupňovém zatížení agentů. Zdroj takové testování neposkytuje.
Zatím není známo, které smartphony budou používat NPU, kdy se dostanou k zákazníkům, kolik to bude stát nebo zda budou všechny hlášené funkce povoleny při uvedení na trh.