SelanjutnyaPanduan berikutnya
Ekstraksi Relasi dari Teks
Bahasa AI
PANDUAN AI Bahasa
T5 dan Transfer Teks-ke-Teks
T5 (Transformator Transfer Teks-ke-Teks), dari Google pada tahun 2019, membingkai ulang setiap tugas NLP, terjemahan, peringkasan, klasifikasi, bahkan regresi, seperti memasukkan teks dan mengeluarkan teks.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
This single unified format lets one model and one training recipe handle dozens of tasks.
Menyelam Lebih Dalam
Ide utama T5 adalah bahwa tugas bahasa apa pun dapat diubah sebagai teks-ke-teks: masukannya berupa string dengan awalan tugas, dan keluarannya selalu berupa string. Terjemahan menjadi 'terjemahkan Bahasa Inggris ke Bahasa Jerman: ...' menghasilkan teks bahasa Jerman; sentimen menjadi 'kalimat sst2: ...' menghasilkan kata literal 'positif' atau 'negatif'. Ia menggunakan Transformer encoder-decoder lengkap, tidak seperti BERT khusus encoder atau GPT khusus decoder. T5 telah dilatih sebelumnya pada korpus C4 (Colossal Clean Crawled Corpus, ~750 GB teks web yang dibersihkan) dengan tujuan korupsi rentang: rentang token acak ditutupi dan diganti dengan token sentinel, dan model belajar menghasilkan rentang yang hilang. Studi yang menyertainya secara sistematis membandingkan arsitektur, tujuan, dan ukuran kumpulan data untuk menemukan transfer terbaik.
Implementasi Dunia Nyata
Peringkasan abstrak: awalan 'meringkas:' sebelum artikel membuat T5 menghasilkan ringkasan ringkas dengan kata-katanya sendiri.
Terjemahan mesin: satu model T5 menangani beberapa pasangan bahasa melalui awalan seperti 'terjemahkan Bahasa Inggris ke Bahasa Prancis:'.
FLAN-T5 mengikuti instruksi bahasa alami untuk menjawab pertanyaan dan bernalar tanpa pelatihan ulang khusus tugas.
Menjawab pertanyaan buku tertutup: T5 menjawab pertanyaan faktual secara langsung sebagai teks yang dihasilkan, memanfaatkan pengetahuan yang tersimpan dalam bobotnya.
Masa Depan T5 dan Transfer Teks-ke-Teks
Paradigma teks-ke-teks menjadi sangat berpengaruh: turunan yang disesuaikan dengan instruksi seperti FLAN-T5 menggeneralisasi tugas-tugas yang tidak terlihat dari instruksi bahasa alami, dan format terpadu menjadi pertanda model bahasa besar yang digerakkan oleh cepat saat ini. Harapkan terus digunakannya encoder-decoder T5 untuk peringkasan, penerjemahan, dan pembuatan terstruktur, ditambah varian multibahasa seperti mT5 dan penerus yang berfokus pada efisiensi, bahkan ketika model khusus decoder mendominasi aplikasi obrolan terbuka.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
- Akses dan jangkauan. Ini memperluas akses lintas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Hati-hati
- Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
- Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
- Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Langkah selanjutnya
- Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
- Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
- Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
- Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the T5 and Text-to-Text Transfer quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is T5 and Text-to-Text Transfer?
T5 (Transformator Transfer Teks-ke-Teks), dari Google pada tahun 2019, membingkai ulang setiap tugas NLP, terjemahan, peringkasan, klasifikasi, bahkan regresi, seperti memasukkan teks dan mengeluarkan teks. Format terpadu tunggal ini memungkinkan satu model dan satu resep pelatihan menangani lusinan tugas.
Apa ide yang menentukan di balik T5?
T5 mentransmisikan terjemahan, ringkasan, klasifikasi, dan lainnya ke dalam satu format teks-ke-teks menggunakan awalan tugas.
Arsitektur Transformer apa yang digunakan T5?
Tidak seperti BERT khusus encoder atau GPT khusus decoder, T5 menggunakan Transformer encoder-decoder lengkap dengan perhatian silang.
Tujuan prapelatihan apa yang terutama digunakan oleh T5?
T5 menutupi rentang token secara acak, mengganti masing-masing dengan sentinel, dan melatih dekoder untuk mereproduksi rentang yang hilang.
Pada korpus apa T5 dilatih sebelumnya?
T5 dilatih pada C4, subset teks web Common Crawl yang dibersihkan sekitar 750 GB.
Bagaimana T5 mewakili tugas klasifikasi seperti analisis sentimen?
Karena semuanya teks-ke-teks, T5 memancarkan label kelas sebagai string kata, bukan indeks kelas numerik.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini