概述
BigScience 是 1,000 多名研究人員進行的為期一年的開放研究合作，產生了 BLOOM，這是第一個真正的多語言、公開發布的大型語言模型。作為在大型科技公司之外建構的透明、社群驅動的人工智慧的里程碑，它具有重要意義。
BigScience 和 BLOOM 模型在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下可以得到最好的理解。
深入探討
BigScience 是一個為期一年的研究研討會，從 2021 年到 2022 年舉辦，由 Hugging Face 協調，匯集了來自 60 多個國家和 250 個機構的 1,000 多名志願者研究人員。其主要成果於 2022 年 7 月發布，是 BLOOM，一個 1760 億參數的自回歸語言模型。 BLOOM 有意採用多種語言，在涵蓋 46 種自然語言和 13 種程式語言的 ROOTS 語料庫上進行訓練，對代表性不足的語言（例如幾種非洲和南亞語言）具有很強的代表性。訓練在法國公共資助的 Jean Zay 超級電腦上運行了幾個月，使用了大約 384 個 GPU。 BLOOM 是根據 Responsible AI 許可證發布的，並提供其資料、訓練和預期用途的完整文檔，與類似模型的封閉開發形成鮮明對比。
技術洞察
BLOOM 是一個與 GPT-3 規模相似的純解碼器轉換器，使用 ALiBi 位置嵌入而不是學習的位置向量，這有助於它推斷出比訓練中看到的更長的序列。它還應用了嵌入層歸一化，提高了大規模訓練的穩定性。多語言 ROOTS 語料庫經過精心組裝和記錄，因此語言組合和資料來源是透明且可審核的，這是故意偏離不透明的抓取資料集。
掌握大科學和 BLOOM 模型
BigScience 是 1,000 多名研究人員進行的為期一年的開放研究合作，產生了 BLOOM，這是第一個真正的多語言、公開發布的大型語言模型。作為在大型科技公司之外建構的透明、社群驅動的人工智慧的里程碑，它具有重要意義。 BigScience 和 BLOOM 模型在策略、模型存取、平台決策和生態系統合作夥伴關係的背景下可以得到最好的理解。為了建立深入的理解，請將 BigScience 和 BLOOM 模型視為一個操作模型，而不是一個單一功能：定義期望的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用 BigScience 和 BLOOM 模型的強大團隊在做出承諾之前會評估供應商策略、路線圖可靠性和鎖定風險。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
供應商路線圖會影響您的團隊接下來可以建立的功能。同時，發佈公告可能會超過實際生產工作流程的穩定性。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
供應商路線圖會影響您的團隊接下來可以建立的功能。
供應商路線圖會影響您的團隊接下來可以建立的功能。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
商業條款和部署選項會影響長期成本和風險。
商業條款和部署選項會影響長期成本和風險。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
公司激勵措施塑造了產品預設、安全態勢和開放性。
公司激勵措施塑造了產品預設、安全態勢和開放性。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
產生並完成多種語言的文本，包括商業模式服務不足的語言
作為研究偏見、多語言遷移和擴展行為的開放研究基線
微調為特定於任務或遵循指令的變體，例如針對非英語社群的 BLOOMZ
為研究訓練資料來源和負責任的人工智慧授權的學者提供完整記錄的模型
實施模式
BigScience 和 BLOOM 模型的實踐
產生並完成多種語言的文本，包括商業模式服務不足的語言。
跨數十種語言（包括商業模型服務不足的語言）生成和完成文本當團隊預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力提高和錯誤成本時，通常會獲得更好的結果。
BigScience 和 BLOOM 模型的實踐
作為研究偏見、多語言遷移和擴展行為的開放研究基線。
作為研究偏見、多語言遷移和擴展行為的開放研究基線當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
BigScience 和 BLOOM 模型的實踐
微調為特定於任務或遵循指令的變體，例如針對非英語社群的 BLOOMZ。
微調到特定於任務或遵循指令的變體，例如針對非英語社群的 BLOOMZ 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
BigScience 和 BLOOM 模型的實踐
為研究訓練資料來源和負責任的人工智慧授權的學者提供完整記錄的模型。
為研究訓練資料來源和負責任的人工智慧授權的學者提供完整記錄的模型當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
使用您自己的任務和資料集評估提供者。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在整合之前查看隱私、安全和法律條款。
在整合之前查看隱私、安全和法律條款。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
維護跨模型或供應商的後備計劃。
維護跨模型或供應商的後備計劃。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。