SelanjutnyaSelanjutnya dalam Fondasi AI
Jaringan Syaraf
Dasar-dasar
PANDUAN Dasar
Inferensi AI
Inferensi menggunakan model terlatih untuk menghasilkan keluaran dari masukan baru.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Pengklasifikasi dapat mengembalikan skor kategori; model bahasa dapat menghasilkan token. Inferensi biasanya membiarkan parameter model tidak berubah, meskipun sistem di sekitarnya mungkin menyimpan informasi secara terpisah atau belajar dari umpan balik.
Poin-poin utama
- Ukur seluruh jalur permintaan.
- Pisahkan latensi per permintaan dari throughput.
- Uji ulang kualitas setelah penayangan pengoptimalan.
Menyelam Lebih Dalam
Permintaan biasanya melewati validasi masukan, prapemrosesan, model, dan pemrosesan keluaran. Layanan teks dapat memberi token pada prompt, menjalankan model berulang kali untuk menghasilkan token, dan menyusun respons. Alat pengambilan dan eksternal dapat menambahkan lebih banyak tahapan di sekitar model. Waktu dan kesalahan mereka diperhitungkan dalam pengalaman pengguna. Ukur latensi dan throughput secara terpisah. Latensi adalah berapa lama waktu yang dibutuhkan untuk satu permintaan; throughput adalah berapa banyak permintaan yang diselesaikan sistem selama suatu periode. Permintaan batch dapat meningkatkan throughput sekaligus meningkatkan waktu tunggu untuk permintaan individual. Streaming dapat membuat suatu jawaban dimulai lebih cepat tanpa mengurangi waktu yang dibutuhkan untuk menyelesaikannya. Memori perangkat keras harus menampung lebih dari bobot model. Buffer yang berfungsi, permintaan bersamaan, dan representasi cache juga menghabiskan memori. Input dan output yang lebih panjang dapat mengubah biaya penyajian, jadi ujilah distribusi beban kerja sebenarnya daripada satu perintah demonstrasi singkat. Penerapan inferensi memerlukan batasan, waktu tunggu, dan respons yang dapat digunakan ketika model tidak dapat menjawab. Simpan kumpulan evaluasi berversi dan bandingkan keluaran setelah mengubah presisi, batching, versi model, atau prapemrosesan. Pengoptimalan hanya berguna jika menjaga kualitas yang dibutuhkan oleh tugas tersebut.
04Contoh yang berhasil
Perhitungkan waktu respons ujung ke ujung
Dalam permintaan yang dibuat, validasi memerlukan waktu 20 mdtk, pengambilan dokumen 180 mdtk, pembuatan model 900 mdtk, dan pemformatan 30 mdtk.
Jika tahapan ini dijalankan secara berurutan, maka totalnya adalah 1.130 ms. Mengurangi separuh waktu pemformatan hanya menghemat 15 ms.
Mengurangi pengambilan hingga 100 md akan menghemat 80 md. Ukur lagi di bawah beban bersamaan karena antrian dapat mengubah hasilnya.
Apa yang ditunjukkannya
Pengaturan waktu yang diciptakan ini menggambarkan mengapa mengoptimalkan tahap kecil hampir tidak mengubah pengalaman.
Implementasi Dunia Nyata
Klasifikasikan pesan masuk tanpa melatih ulang pengklasifikasi.
Streaming draf jawaban sambil mempertahankan kontrol pembatalan yang jelas.
Mempraktikkannya
Mengapa itu penting
- Keputusan yang lebih jelas. Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
- Biaya dan anggaran. Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
- Tim dan alur kerja. Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Hati-hati
- Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
- Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
- Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Langkah selanjutnya
- Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
- Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
- Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
- Dokumentasikan di mana AI Inference membantu dan di mana metode yang lebih sederhana lebih baik.
Sumber dan bacaan lebih lanjut
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the AI Inference quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apakah inferensi sama dengan penalaran?
Inferensi menjelaskan menjalankan model. Suatu tugas mungkin melibatkan penalaran, klasifikasi, atau pembangkitan; label eksekusi tidak menentukan kualitas penalaran.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini