SelanjutnyaPanduan berikutnya
Deteksi Rongga Sinar X Gigi AI
AI visual
PANDUAN Teknis
Ray untuk AI Terdistribusi
Ray adalah kerangka kerja sumber terbuka yang memudahkan penskalaan beban kerja Python dan AI dari laptop ke ribuan mesin.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Ini penting karena memberikan cara sederhana dan terpadu untuk mendistribusikan pelatihan, penyetelan, pemrosesan data, dan penyajian tanpa menulis ulang kode Anda untuk masing-masing.
Menyelam Lebih Dalam
Ide inti Ray adalah mengubah fungsi dan kelas Python biasa menjadi unit terdistribusi dengan sedikit perubahan. Sebuah fungsi yang ditandai sebagai 'tugas' jarak jauh berjalan secara asinkron pada pekerja mana pun di cluster; sebuah kelas yang ditandai sebagai 'aktor' jarak jauh menjadi layanan bernegara yang hidup pada seorang pekerja. Ray mengembalikan masa depan yang ringan (referensi objek) dan menangani penjadwalan, pergerakan data melalui penyimpanan objek bersama, dan toleransi kesalahan. Di atas semua ini terdapat perpustakaan inti yang dibuat khusus: Ray Train untuk pelatihan model terdistribusi, Ray Tune untuk pencarian hyperparameter, Ray Data untuk saluran data streaming, RLlib untuk pembelajaran penguatan, dan Ray Serve untuk penyajian model yang dapat diskalakan. Hal ini memungkinkan satu cluster menangani seluruh alur kerja ML secara menyeluruh.
Implementasi Dunia Nyata
Menjalankan Ray Tune untuk mencari ratusan kombinasi hyperparameter secara paralel di seluruh cluster GPU untuk menemukan konfigurasi model terbaik
Menggunakan Ray Train untuk mendistribusikan pelatihan model pembelajaran mendalam di banyak GPU dan node dengan perubahan kode minimal
Membangun saluran inferensi batch dengan Ray Data untuk mencetak jutaan catatan dengan mengalirkannya melalui model ke seluruh cluster
Menerapkan beberapa model di belakang satu titik akhir penskalaan otomatis dengan Ray Serve untuk menangani lalu lintas produksi variabel
Masa Depan Ray untuk AI Terdistribusi
Ray telah menjadi tulang punggung AI skala besar, terutama digunakan dalam pelatihan dan melayani model bahasa besar. Harapkan pertumbuhan dalam penyajian khusus LLM (Ray Serve dengan vLLM), penjadwalan GPU yang heterogen, integrasi yang lebih erat dengan data lake dan Kubernetes melalui KubeRay, dan penskalaan otomatis yang lebih baik untuk beban kerja generatif yang tajam. Seiring berkembangnya model, peran Ray dalam mengatur pelatihan multi-node, pipeline RLHF, dan inferensi batch di ribuan akselerator kemungkinan akan meningkat.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Ray for Distributed AI quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Ray untuk AI Terdistribusi?
Ray adalah kerangka kerja sumber terbuka yang memudahkan penskalaan beban kerja Python dan AI dari laptop ke ribuan mesin. Hal ini penting karena memberikan cara yang sederhana dan terpadu untuk mendistribusikan pelatihan, penyetelan, pemrosesan data, dan penyajian tanpa menulis ulang kode Anda untuk masing-masingnya.
Masalah apa yang terutama dipecahkan oleh Ray?
Ray menyediakan cara terpadu dan sederhana untuk mendistribusikan komputasi ke banyak mesin tanpa menulis ulang kode Anda untuk setiap jenis beban kerja.
Di Ray, apa perbedaan antara 'tugas' dan 'aktor'?
Tugas adalah fungsi jarak jauh tanpa kewarganegaraan yang dijalankan secara paralel, sedangkan aktor adalah objek berumur panjang yang mempertahankan status, seperti model yang dimuat.
Apa yang langsung dikembalikan Ray saat Anda meluncurkan tugas jarak jauh?
Ray segera mengembalikan masa depan yang ringan sehingga pekerjaan berjalan secara tidak sinkron; Anda memanggil ray.get() untuk mengambil hasil aktual bila diperlukan.
Pustaka Ray manakah yang dirancang untuk pencarian hyperparameter terdistribusi?
Ray Tune berspesialisasi dalam menjalankan banyak uji coba hyperparameter secara paralel di seluruh cluster.
Jenis objek manakah yang menurut dokumen Ray secara eksplisit dapat dibaca dari memori penyimpanan objek dengan node yang sama tanpa salinan?
Ray mendokumentasikan pembacaan tanpa salinan untuk array NumPy yang disimpan di penyimpanan objek ketika pekerja di node yang sama mengaksesnya. Nilai lain mungkin memerlukan deserialisasi, dan data yang diminta antar node harus ditransfer.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini