研究比較了添加 GPU 與壓縮 LLM 記憶體以降低服務成本
一篇新的 arXiv 論文將張量並行性與記憶體綁定大型語言模型服務的 KV 快取壓縮進行了比較,報告稱在其測試配置中壓縮成本降低了 1.20 至 2.00 倍,而額外的 GPU 是唯一經過測試可減少延遲的方法。
每日更新1797 經過驗證的故事
非營利教育團隊以簡單易懂的英語解釋了產品發布、政策轉變、安全研究和行業動向的經過來源檢查的人工智慧報道。
每個故事都連結到最有力的可用證據:可用的原始來源,否則明確歸因的報告。
發生了什麼、為什麼重要以及值得關注的內容——無需行話。
當訊號很弱時,我們不會發布任何內容,而是填充提要。
經過來源檢查的人工智慧故事,最新的優先,適合那些需要了解人工智慧而不追逐炒作的人。
一篇新的 arXiv 論文將張量並行性與記憶體綁定大型語言模型服務的 KV 快取壓縮進行了比較,報告稱在其測試配置中壓縮成本降低了 1.20 至 2.00 倍,而額外的 GPU 是唯一經過測試可減少延遲的方法。
一篇新論文提出了 MolEmb,這是一個框架,它採用多模態大語言模型來產生以分子資訊和自然語言上下文為條件的分子嵌入。
一份新的 arXiv 立場文件認為,給予人工智慧代理更多的自主權可能會削弱有效監督它們所需的人類判斷力。
《愛爾蘭時報》引述安永愛爾蘭公司的報告稱,2026 年上半年,愛爾蘭人工智慧公司獲得了超過 2.5 億美元的投資,資金涵蓋醫療保健、量子計算、太空技術和人工智慧基礎設施。
Mezha 引述路透社的報導稱,Accelerated Understanding 推出了基於神經算子而不是 Transformer 的以物理為中心的人工智慧模型。創辦人表示,它在一次查詢中處理了 5 兆個數據點,儘管提供的材料沒有包含獨立的技術驗證。
新的預印本描述了 MARS,這是一個僅提示的系統,它將程式設計問題分配給主題專業語言模型,並報告在 CodeContests 上比直接提示提高了 14.4 個百分點。
一項新的基準報告稱,當大型視覺語言模型必須透過不完整的描述和交互作用來識別視覺目標時,其表現遠低於人類基線。
ChosunBiz 報告稱,Microsoft 公司副總裁 Kim Tae-su 表示,多代理工作流程可以比單一人工智慧系統更有效地發現和驗證軟體漏洞。該報告描述了 DARPA 的人工智慧網路挑戰賽和 Microsoft 的 MDASH 系統的結果,但這些說法並未獨立...
Groq 表示,它正在與 Dell Technologies 合作,在其推理雲端中部署 Nvidia Groq 3 LPX 和 Vera Rubin NVL72 系統,承諾更快地回應大上下文和代理 AI 工作負載。該公司尚未提供部署日期、客戶名單或性能聲明的獨立驗證。
KuCoin 報導稱,Gamgee 是一家利用人工智慧輔助基因組分析為狗開發個人化 mRNA 癌症疫苗的新創公司,已籌集 400 萬美元種子資金。報告稱,該公司正在澳洲進行臨床試驗,但資金、試驗狀態、時間表和治療聲明並未…
每週一次有用的簡報
取得本週經過驗證的人工智慧新聞、原始數據、有用的工具、學習精選和新鮮的人工智慧工作。