What is Flash Attention? Definition | AI Understanding

คำนิยาม

อัลกอริธึมความสนใจที่ได้รับการปรับปรุงซึ่งช่วยลดการใช้หน่วยความจำและเร่งความเร็วการฝึกอบรมและการอนุมานของหม้อแปลง

ข้อกำหนดที่เกี่ยวข้อง

ร้านค้าคุณลักษณะ

ระบบที่ได้รับการจัดการสำหรับจัดเก็บและให้บริการคุณสมบัติ ML ที่ผ่านการตรวจสอบแล้วอย่างสม่ำเสมอสำหรับการฝึกอบรมและการอนุมาน

การขยายพันธุ์กลับ

อัลกอริธึมการฝึกอบรมหลักที่อัปเดตน้ำหนักโมเดลโดยเผยแพร่ข้อผิดพลาดในการคาดการณ์แบบย้อนกลับผ่านเครือข่าย

การหาปริมาณแบบจำลอง

ลดความแม่นยำเชิงตัวเลขของน้ำหนักโมเดลเพื่อลดต้นทุนหน่วยความจำและการอนุมาน

หม้อแปลงไฟฟ้า

สถาปัตยกรรมประสาทที่ใช้ความสนใจในการสร้างแบบจำลองความสัมพันธ์ข้ามลำดับแบบขนาน

การสูญเสียการฝึกอบรม

ค่าข้อผิดพลาดของโมเดลคำนวณระหว่างการฝึกและปรับให้เหมาะสมลงเมื่อเวลาผ่านไป

ความสนใจหลายหัว

กลไกของหม้อแปลงที่ดำเนินการให้ความสนใจหลายรายการพร้อมกันเพื่อบันทึกความสัมพันธ์ประเภทต่างๆ

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

ดูเพิ่มเติม

QLoRA DPO (Direct Preference Optimization)Positional Encoding Tree of Thoughts RoPE (Rotary Positional Embeddings)ReAct ALiBi Agentic Loop

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด