Il prossimoProssima guida
Sistemi di guida autonoma per crociere
Aziende
GUIDA alle aziende
SambaNova sviluppa hardware a flusso di dati reconfigurabile e piattaforme software integrate per carichi di lavoro AI.
Ascolta questa guidaNarrato dall'IA · ~2 min
Il suo design a flusso di dati mappa le operazioni del modello e instrada i dati tra di esse; deployment, capacità di memoria, prestazioni e risultati di governance dei dati dipendono dal prodotto e dalla configurazione.
SambaNova’s Reconfigurable Dataflow Unit (RDU) maps a model’s computation graph onto configurable compute and memory resources. The company describes the resulting dataflow as operations connected in a pipeline, with the goal of reducing repeated movement of intermediate data. Published materials for SN40L list SRAM, HBM, and DDR memory tiers, while current products and capacities differ by generation. SambaStack combines hardware and software for AI inference and advertises multi-model and agent workflows; model availability and results depend on the workload and deployment. SambaNova also offers on-premises terms, allowing organizations to evaluate operation in their own environment. On-premises placement by itself does not establish privacy, security, or legal compliance; review system configuration, access controls, data flows, and contract terms. SambaNova’s official team page identifies Kunle Olukotun as a co-founder and chief technologist. For the documented SN50 configuration, HBM holds active model weights and hot KV cache, while DDR can support larger model pools and colder KV cache. Which model data stays resident depends on product capacity and configuration; tiering does not eliminate data movement or guarantee a speedup for every workload.
Per un carico di lavoro SN50, verifica come i pesi attivi e la cache KV calda utilizzino HBM e come la configurazione selezionata utilizzi DDR per pool di modelli più grandi o cache KV più fredda.
Per un sistema SN40L, confronta i livelli SRAM, HBM e DDR documentati con la dimensione del modello e il carico di lavoro di servizio prima di scegliere una configurazione.
Quando valuti un flusso di lavoro di inferenza multi-modello, verifica quali capacità SambaStack e di bundling del modello sono disponibili nel deployment specifico.
Prima di scegliere l'operazione on-premises, rivedi i termini SambaStack applicabili, i flussi di dati, i controlli di accesso e le responsabilità operative.
I materiali attuali di SambaNova descrivono configurazioni di memoria RDU specifiche per generazione, opzioni di distribuzione SambaStack e flussi di lavoro per il raggruppamento dei modelli. Verifica la capacità e le funzionalità supportate nella documentazione per la generazione di prodotto esatta. Confronta gli acceleratori con lo stesso modello, precisione, lunghezze di sequenza, concorrenza e stack di servizio, e misura latenza e throughput nell'ambiente previsto.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
SambaNova sviluppa hardware a flusso di dati riconfigurabile e piattaforme software integrate per carichi di lavoro AI. Il suo design a flusso di dati mappa le operazioni del modello e instrada i dati tra di esse; la distribuzione, la capacità di memoria, le prestazioni e i risultati di governance dei dati dipendono dal prodotto e dalla configurazione.
Le unità riconfigurabili del flusso di dati di SambaNova mappano il grafico di calcolo di un modello AI sull'hardware e trasmettono i dati attraverso di esso.
SambaNova descrive il flusso di dati come la mappatura delle operazioni del modello e l'instradamento dei dati tra di esse come una pipeline; questo evita di fare un'affermazione universale su CPU o velocità del carico di lavoro.
SambaNova presenta SambaStack come una piattaforma AI integrata hardware‑software; il modello esatto e la disponibilità di distribuzione dipendono dall'offerta.
SambaNova documenta HBM per pesi attivi e cache KV calda, con DDR disponibile per pool di modelli più grandi o cache KV più fredda. Ciò che rimane residente dipende dal prodotto e dalla configurazione; la gerarchia non elimina il movimento dei dati né garantisce un'accelerazione per ogni carico di lavoro.
SambaNova pubblica i termini on-premises, così le organizzazioni possono valutare un'implementazione operata localmente; la sola posizione non garantisce privacy, sicurezza o conformità legale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Sistemi di guida autonoma per crociere
Aziende