วิสัยทัศน์หม้อแปลง

They proved that you do not need convolutions to achieve state-of-the-art image recognition.

เป็นเวลาหลายปีมาแล้วที่โครงข่ายประสาทเทียมแบบหมุนวน (CNN) ครอบงำคอมพิวเตอร์วิทัศน์โดยการสแกนฟิลเตอร์ขนาดเล็กทั่วทั้งภาพ บทความปี 2020 เรื่อง 'รูปภาพมีค่า 16x16 คำ' จาก Google ท้าทายสิ่งนี้ด้วยการตัดรูปภาพเป็นแพตช์คงที่ ซึ่งโดยทั่วไปแล้วจะมีขนาด 16x16 พิกเซล ทำให้แต่ละภาพแบนเป็นเวกเตอร์ และป้อนลำดับผลลัพธ์ลงในหม้อแปลงมาตรฐาน แต่ละแพตช์จะกลายเป็น 'โทเค็น' เหมือนกับคำในประโยค จากนั้น โมเดลจะใช้การเอาใจใส่ในตนเอง ดังนั้นทุกแพตช์จึงสามารถเชื่อมโยงโดยตรงกับแพตช์อื่นๆ ทั้งหมด โดยบันทึกความสัมพันธ์ระยะยาวที่ตัวกรองแบบเกลียวขนาดเล็กไม่สามารถมองเห็นได้ในขั้นตอนเดียว สิ่งที่จับได้: ViT เป็นที่ต้องการข้อมูลเนื่องจากขาดสมมติฐานในตัวของ CNN เมื่อฝึกฝนชุดข้อมูลขนาดมหึมาเช่น JFT-300M พวกเขาจับคู่หรือเอาชนะ CNN ที่ดีที่สุดได้ โดยเปลี่ยนโฉมการวิจัยด้านการมองเห็นสมัยใหม่