Penyematan Kontekstual ELMo
ELMo (Embeddings from Language Models) merupakan terobosan tahun 2018 yang memberikan setiap kata representasi yang dibentuk oleh kalimatnya, sehingga 'bank' di 'river bank' berbeda dengan 'bank' di 'bank tabungan'. Ini menandai peralihan dari vektor kata statis ke NLP sadar konteks.
Menyelam Lebih Dalam
ELMo, diperkenalkan oleh peneliti Allen Institute for AI (Peters et al., 2018), menghasilkan representasi kata dengan menjalankan kalimat melalui model bahasa LSTM dua arah yang dilatih pada korpus miliaran kata. Tidak seperti Word2Vec atau GloVe, yang menetapkan satu vektor tetap per kata, ELMo menghitung vektor baru untuk setiap kejadian berdasarkan konteks sekitarnya. Yang terpenting, ELMo menggabungkan semua lapisan LSTM internal melalui bobot khusus tugas yang dipelajari, bukan hanya menggunakan lapisan atas. Lapisan bawah cenderung menangkap sintaksis (bagian ucapan, struktur) sementara lapisan atas menangkap semantik dan pengertian kata. Menambahkan ELMo ke model yang ada menghasilkan keuntungan besar dalam enam tugas tolok ukur, termasuk menjawab pertanyaan, analisis sentimen, dan pengenalan entitas bernama.
Wawasan Teknis
ELMo menumpuk dua LSTM: model bahasa maju yang memprediksi kata berikutnya dan model bahasa mundur yang memprediksi kata sebelumnya, masing-masing melalui input CNN tingkat karakter (sehingga menangani kata-kata yang tidak terlihat). Untuk tugas hilir, ELMo menciutkan representasi lapisan menggunakan bobot yang dinormalisasi softmax ditambah skalar, semuanya dipelajari selama penyesuaian. Ini berarti setiap tugas dapat memutuskan berapa banyak sinyal sintaksis versus sinyal semantik yang diinginkan dari biLM beku yang telah dilatih sebelumnya.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Penyematan Kontekstual ELMo
Ide inti ELMo, representasi kontekstual dari pra-pelatihan model bahasa, menjadi dasar, tetapi arsitektur LSTM yang berulang dengan cepat dikalahkan oleh model berbasis Transformer seperti BERT pada akhir tahun 2018, yang membaca seluruh kalimat secara paralel dan menskalakan jauh lebih baik. Saat ini ELMo sebagian besar memiliki kepentingan historis dan pendidikan, meskipun penanganan masukan karakter-CNN dan ide pembobotan lapisan masih memengaruhi pekerjaan penyematan khusus dalam bahasa yang sumber dayanya rendah dan kaya secara morfologis.
Implementasi Dunia Nyata
Meningkatkan sistem pengenalan entitas bernama yang harus mengetahui apakah 'Washington' mengacu pada seseorang, negara bagian, atau kota berdasarkan kata-kata di sekitarnya
Meningkatkan analisis sentimen dengan memahami bahwa 'sakit' berarti negatif dalam 'Saya merasa sakit' tetapi positif dalam bahasa gaul 'itu sakit'
Meningkatkan sistem tanya jawab pada benchmark SQuAD dengan memasukkan vektor token yang peka konteks ke pembaca
Mendisambiguasi arti kata dalam terjemahan mesin sehingga kata-kata polisemi seperti 'tanaman' diterjemahkan dengan benar sesuai konteksnya
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ELMo Contextual Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Penyematan Kata
Pertanyaan yang sering diajukan
What is ELMo Contextual Embeddings?
ELMo (Embeddings from Language Models) merupakan terobosan tahun 2018 yang memberikan setiap kata representasi yang dibentuk oleh kalimatnya, sehingga 'bank' di 'river bank' berbeda dengan 'bank' di 'bank tabungan'. Ini menandai peralihan dari vektor kata statis ke NLP sadar konteks.
Apa perbedaan utama antara ELMo dan penyematan sebelumnya seperti Word2Vec?
ELMo menghasilkan penyematan kontekstual: vektor untuk sebuah kata berubah berdasarkan kalimat di sekitarnya, tidak seperti vektor tetap tunggal Word2Vec per kata.
Arsitektur saraf apa yang digunakan ELMo untuk membaca teks?
ELMo dibangun di atas LSTM dua arah yang dilatih sebagai model bahasa, memproses urutan secara berulang.
Bagaimana cara ELMo menggabungkan lapisan internalnya untuk tugas hilir?
ELMo mempelajari bobot normalisasi softmax khusus tugas untuk menggabungkan semua lapisan biLM, membiarkan setiap tugas menekankan sintaksis atau semantik sesuai kebutuhan.
Apa yang ELMo gunakan sebagai unit inputnya untuk menangani kata-kata yang tidak terlihat?
ELMo membuat masukan kata dari CNN tingkat karakter, sehingga dapat mewakili kata-kata yang tidak pernah dilihatnya selama pelatihan.
Kira-kira kapan ELMo diperkenalkan dan oleh siapa?
ELMo diterbitkan pada tahun 2018 oleh Peters dkk. di Institut Allen untuk AI (AI2).