Microsoft Phi
Microsoft Phi là một nhóm các mô hình ngôn ngữ nhỏ chứng minh rằng việc quản lý dữ liệu cẩn thận có thể cạnh tranh với quy mô mạnh mẽ.
Tổng quan
By training on textbook-quality and synthetic data, tiny Phi models punch far above their parameter count.
Lặn sâu
Phi là Microsoft Dòng mô hình ngôn ngữ nhỏ (SLM) của Research được ra mắt vào năm 2023 với Phi-1, một mô hình mã hóa 1,3 tỷ tham số. Luận điểm hướng dẫn, được nêu trong tiêu đề bài báo 'Sách giáo khoa là tất cả những gì bạn cần', là chất lượng dữ liệu quan trọng hơn kích thước thô. Thay vì tìm kiếm toàn bộ trang web, Microsoft đã đào tạo Phi về nội dung giống như sách giáo khoa, được tuyển chọn cùng với các bài tập tổng hợp do GPT-4 tạo ra. Các bản phát hành liên tiếp đã mở rộng ý tưởng này: Phi-2 (2.7B), Phi-3 (3.8B 'mini' lên đến 14B 'medium') và Phi-3.5 với các biến thể tầm nhìn và hỗn hợp các chuyên gia. Bất chấp kích thước của chúng, các mẫu Phi vẫn có thể sánh ngang hoặc đánh bại các đối thủ lớn hơn nhiều về điểm chuẩn lý luận và toán học, đồng thời chúng chạy hiệu quả trên máy tính xách tay, điện thoại và thiết bị biên. Các mô hình được phát hành công khai theo giấy phép cho phép.
Hiểu biết kỹ thuật
Lợi thế của Phi đến từ việc tạo và lọc dữ liệu tổng hợp. Microsoft sử dụng các mô hình lớn hơn như GPT-4 để viết các ví dụ rõ ràng, có cấu trúc sư phạm và chấm điểm văn bản web về 'giá trị giáo dục', chỉ giữ lại các tài liệu có tín hiệu cao. Hỗn hợp đào tạo dày đặc, ít tiếng ồn này cho phép mô hình 3,8B học các mẫu suy luận thường yêu cầu hàng chục tỷ tham số. Phi-3-mini sử dụng cửa sổ ngữ cảnh 4K hoặc 128K và kiến trúc bộ giải mã biến áp tương tự như Llama, giúp dễ dàng triển khai bằng công cụ hiện có.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của Microsoft Phi
Microsoft đang thúc đẩy Phi hướng tới mục đích sử dụng trên thiết bị và tác nhân trong đó độ trễ, quyền riêng tư và chi phí loại trừ những gã khổng lồ trên đám mây. Mong đợi khả năng tích hợp Windows và Copilot+ PC chặt chẽ hơn, các biến thể đa phương thức (hình ảnh và âm thanh) mạnh mẽ hơn cũng như các thiết kế kết hợp chuyên gia liên tục chỉ kích hoạt một phần thông số trên mỗi mã thông báo. Xu hướng rộng hơn mà Phi xác nhận là dữ liệu thông minh vượt qua quy mô tuyệt đối, đang định hình lại cách toàn bộ ngành đào tạo các mô hình, đặc biệt là cho điện thoại, IoT và các tình huống ngoại tuyến nơi các mô hình nhỏ, có khả năng giành chiến thắng.
Triển khai trong thế giới thực
Chạy trợ lý mã hóa ngoại tuyến trực tiếp trên máy tính xách tay mà không gửi mã lên đám mây
Cung cấp năng lượng cho các tính năng trên thiết bị trong Copilot+ PC và ứng dụng dành cho thiết bị di động có độ trễ thấp
Nhúng mô hình lý luận vào IoT hoặc phần cứng biên có bộ nhớ hạn chế và không có internet
Các nhà nghiên cứu đang tinh chỉnh một mô hình Phi nhỏ, được cấp phép mở cho một chatbot dành riêng cho miền với giá rẻ
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Microsoft Phi quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Microsoft AI
Câu hỏi thường gặp
What is Microsoft Phi?
Microsoft Phi là một nhóm các mô hình ngôn ngữ nhỏ chứng minh rằng việc quản lý dữ liệu cẩn thận có thể cạnh tranh với quy mô mạnh mẽ. Bằng cách đào tạo về chất lượng sách giáo khoa và dữ liệu tổng hợp, các mô hình Phi nhỏ vượt xa số lượng tham số của chúng.
Luận điểm cốt lõi đằng sau các mô hình Phi, được ghi lại trong một tiêu đề bài báo nổi tiếng là gì?
Bài báo Phi-1 có tiêu đề 'Sách giáo khoa là tất cả những gì bạn cần', lập luận rằng dữ liệu được quản lý, chất lượng cao quan trọng hơn quy mô tuyệt đối.
Phi-3-mini có khoảng bao nhiêu thông số?
Phi-3-mini có khoảng 3,8 tỷ thông số, đủ nhỏ để chạy trên điện thoại mà vẫn hoạt động mạnh mẽ.
Microsoft tạo ra nhiều dữ liệu đào tạo của Phi bằng cách nào?
Microsoft sử dụng các mô hình mạnh mẽ như GPT-4 để tạo các bài tập tổng hợp rõ ràng và lọc văn bản web có giá trị giáo dục.
'SLM' đề cập đến loại mô hình nào được sử dụng cho Phi?
Phi được mô tả là Mô hình ngôn ngữ nhỏ (SLM), nhấn mạnh khả năng ở kích thước nhỏ gọn.
Ưu điểm thực tế quan trọng của kích thước nhỏ của Phi là gì?
Vì các mẫu Phi nhỏ gọn nên chúng có thể chạy cục bộ trên phần cứng của người tiêu dùng, mang lại sự riêng tư, độ trễ thấp và sử dụng ngoại tuyến.