transformator

Perhatian menghitung berapa banyak informasi yang harus diambil suatu posisi dari posisi lain. Dalam formulasi umum, proyeksi yang dipelajari menghasilkan pertanyaan, kunci, dan nilai. Perbandingan kunci kueri menentukan bobot yang digunakan untuk menggabungkan nilai. Beberapa kepala perhatian memungkinkan beberapa kombinasi seperti itu dalam satu lapisan. Lapisan transformator juga mencakup operasi lain, seperti jaringan umpan maju, normalisasi, dan sambungan sisa. Informasi posisi diperlukan karena urutan kata atau elemen urutan lainnya penting. Implementasi spesifik berbeda dalam cara mereka mewakili posisi dan mengatur operasi ini. Trafo asli tahun 2017 menggunakan desain encoder-decoder untuk penerjemahan. Model selanjutnya menggunakan pengaturan encoder-only, decoder-only, atau encoder-decoder untuk tujuan yang berbeda. Model bahasa kausal mencegah suatu posisi memperhatikan token masa depan selama prediksi token berikutnya. Batasan tersebut berbeda dengan pemrosesan dua arah pada input lengkap. Perhatian pada rangkaian yang panjang bisa memakan biaya komputasi yang mahal. Sistem praktis menggunakan pengoptimalan yang bervariasi, namun batasan konteks yang diiklankan tidak membuktikan bahwa model tersebut menggunakan setiap bagian dari dokumen panjang dengan andal. Pengambilan tes, penalaran, dan instruksi mengikuti sesuai kebutuhan aplikasi Anda.