HƯỚNG DẪN KỸ THUẬT

Tối ưu hóa lời nhắc tự động và DSPy

Tối ưu hóa lời nhắc tự động sử dụng thuật toán để tìm kiếm hướng dẫn tốt hơn hoặc ví dụ về ít lần quay.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của tối ưu hóa lời nhắc tự động và DSPy
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó chấm điểm lời nhắc của ứng viên dựa trên số liệu trên một tập hợp các ví dụ thay vì dựa vào từ ngữ được chỉnh sửa thủ công. Các phương pháp tiếp cận nổi tiếng bao gồm APE, Google DeepMind's OPRO và DSPy, một khung nguồn mở của Stanford. Họ cùng nhau biến kỹ thuật nhanh chóng từ phỏng đoán thành một quy trình có thể lặp lại và đo lường được.

Lặn sâu

Lời nhắc được điều chỉnh bằng tay có một điểm yếu đã biết. Từ ngữ phù hợp với một mô hình, tập dữ liệu hoặc phiên bản có thể ngừng hoạt động trên một mô hình, tập dữ liệu hoặc phiên bản khác một cách lặng lẽ và các thay đổi thường chỉ được đánh giá dựa trên một số ví dụ. Tối ưu hóa lời nhắc tự động thay thế vòng lặp đó bằng tìm kiếm. Bạn cung cấp ba điều: - Một nhiệm vụ. - Một tập hợp các đầu vào, lý tưởng nhất là có các đầu ra dự kiến. - Một thước đo, chẳng hạn như kết quả khớp chính xác hoặc thang đánh giá được một mô hình khác chấm điểm. Trình tối ưu hóa tạo lời nhắc ứng viên, chạy chúng, chấm điểm và giữ lại người chiến thắng. Những ví dụ ban đầu đã làm cho ý tưởng trở nên cụ thể. APE (Automatic Rapid Engineer, Zhou và cộng sự, 2022) đã có một mô hình đề xuất nhiều hướng dẫn từ các ví dụ đầu vào-đầu ra, sau đó giữ lại những hướng dẫn có điểm cao nhất. OPRO (Tối ưu hóa bằng PROmpting, Yang và cộng sự, Google DeepMind, 2023) đã sử dụng LLM làm trình tối ưu hóa. Dấu nhắc meta của nó liệt kê các hướng dẫn trước đó cùng với điểm số của chúng và mô hình đề xuất các hướng dẫn mới. OPRO đã tìm thấy những hướng dẫn như "Hít một hơi thật sâu và giải quyết vấn đề này từng bước một", đã đạt điểm cao cho một mô hình cụ thể về toán phổ thông. Từ ngữ được tối ưu hóa có thể không trực quan và cụ thể đối với một mô hình. DSPy tiến xa hơn bằng cách thay đổi cách viết chương trình. Nó được phát triển tại Stanford NLP bởi Omar Khattab và các cộng tác viên và được giới thiệu vào năm 2023. Bạn khai báo công việc của từng bước bằng một chữ ký, chẳng hạn như "câu hỏi, ngữ cảnh -> câu trả lời" và kết hợp các mô-đun như Dự đoán hoặc ChainOfThought. Một trình tối ưu hóa (trước đây gọi là máy nhắc chữ), chẳng hạn như BootstrapFewShot hoặc MIPROv2, sau đó "biên dịch" chương trình bằng cách chọn các bản trình diễn và hướng dẫn cho từng mô-đun để tối đa hóa số liệu của bạn. Ba quan niệm sai lầm đáng sửa chữa: - Những công cụ này loại bỏ sự phán xét của con người. Họ không làm như vậy vì số liệu và ví dụ xác định "tốt hơn". - Lời nhắc được tối ưu hóa an toàn để tin cậy. Họ có thể trang bị quá mức một tập dữ liệu nhỏ. - Tối ưu hóa là miễn phí. Nó tốn chi phí cho các lệnh gọi API thực, đôi khi rất nhiều.

Triển khai trong thế giới thực

Một nhóm xây dựng trình phân loại vé hỗ trợ viết "vé -> danh mục" chữ ký DSPy và cung cấp 200 vé được gắn nhãn và số liệu chính xác. Sau đó, trình tối ưu hóa sẽ chọn các bản trình diễn vài lần bắn đạt điểm cao nhất.

Khi một công ty chuyển từ nhà cung cấp LLM này sang nhà cung cấp LLM khác, công ty sẽ chạy lại trình tối ưu hóa DSPy cho mô hình mới. Nó không viết lại lời nhắc bằng tay đã được điều chỉnh cho mô hình cũ.

Một nhà nghiên cứu chạy một vòng lặp kiểu OPRO. Một mô hình đề xuất các từ ngữ mới cho một hướng dẫn, mỗi từ ngữ được tính điểm theo điểm chuẩn toán học và lịch sử ghi điểm tốt nhất sẽ được đưa vào vòng đề xuất tiếp theo.

Quy trình trả lời câu hỏi được tăng cường truy xuất được tối ưu hóa từ đầu đến cuối, với số liệu kiểm tra câu trả lời cuối cùng với câu trả lời tham khảo. Cả bước viết truy vấn và bước trả lời đều được cải thiện.

Tương lai của tối ưu hóa lời nhắc tự động và DSPy

Tối ưu hóa kịp thời đang trở thành một phần bình thường của kỹ thuật LLM, cùng với các bộ đánh giá, thay vì mục đích nghiên cứu. Những câu hỏi mở vẫn còn. Các lời nhắc được tối ưu hóa chuyển giao giữa các mô hình hiệu quả như thế nào? Làm thế nào để bạn viết số liệu cho những phẩm chất chủ quan như giọng điệu hoặc sự hữu ích? Làm thế nào để bạn tránh trang bị quá mức các tập dữ liệu nhỏ? Một số nghiên cứu kết hợp tối ưu hóa kịp thời với tinh chỉnh nhẹ và DSPy hỗ trợ cả hai. Các mô hình thay đổi thường xuyên, do đó, khả năng tự động tối ưu hóa lại dựa trên bộ thử nghiệm ổn định có thể quan trọng hơn bất kỳ lời nhắc thông minh nào. Xác định các số liệu và ví dụ tốt vẫn là công việc của con người.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Automatic Prompt Optimization and DSPy quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Tối ưu hóa lời nhắc tự động và DSPy là gì?

Tối ưu hóa lời nhắc tự động sử dụng thuật toán để tìm kiếm hướng dẫn tốt hơn hoặc ví dụ về ít lần quay. Nó chấm điểm lời nhắc của ứng viên dựa trên số liệu trên một tập hợp các ví dụ thay vì dựa vào từ ngữ được chỉnh sửa thủ công. Các phương pháp tiếp cận nổi tiếng bao gồm APE, Google DeepMind's OPRO và DSPy, một khung nguồn mở của Stanford. Họ cùng nhau biến kỹ thuật nhanh chóng từ phỏng đoán thành một quy trình có thể lặp lại và đo lường được.

Bạn phải cung cấp những gì để tối ưu hóa lời nhắc tự động hoạt động?

Trình tối ưu hóa cần có nhiệm vụ, ví dụ và số liệu để có thể chấm điểm các lời nhắc của ứng viên và giữ lại những lời nhắc tốt nhất.

Trong OPRO, vai trò của trình tối ưu hóa là gì?

OPRO sử dụng mô hình ngôn ngữ làm trình tối ưu hóa. Nó nhìn thấy các hướng dẫn trước đây cùng với điểm số của chúng và đề xuất những hướng dẫn mới.

Kết quả "Hít một hơi thật sâu và giải quyết vấn đề này từng bước một" của OPRO minh họa điều gì?

Hướng dẫn đạt điểm cao đối với một mô hình cụ thể về toán cấp phổ thông. Từ ngữ được tìm thấy bằng cách tìm kiếm có thể gây ngạc nhiên và có thể không được áp dụng cho các mô hình khác.

Chữ ký DSPy là gì?

Chữ ký khai báo những gì một mô-đun nên làm trong các trường đầu vào và đầu ra của nó. DSPy sau đó sẽ đưa ra lời nhắc.

BootstrapFewShot của DSPy được trình diễn như thế nào?

Dấu vết thành công trở thành ví dụ ít lần thực hiện, bao gồm cả các bước nội bộ mà bạn chưa bao giờ tự gắn nhãn.

Tiếp tục học hỏi

Hướng dẫn liên quan

Đã chọn thêm hướng dẫn cho chủ đề này

Nhận chứng chỉ AI miễn phíMột khóa học và kỳ thi ngắn miễn phí. Không tốn phí, không cần thẻ. Khoảng 2,5 giờ.Bắt đầu miễn phí →