โมเดลเหยี่ยว

พวกเขามีความสําคัญเพราะได้นําห้องปฏิบัติการตะวันออกกลางที่ได้รับการสนับสนุนจากรัฐบาลมาสู่แผนที่แบบจําลองเปิดระดับโลก และเป็นผู้บุกเบิกการฝึกอบรมขนาดใหญ่บนข้อมูลเว็บที่ถูกกรองอย่างเข้มงวด

Falcon ได้รับการพัฒนาโดย Technology Innovation Institute (TII) ซึ่งเป็นห้องปฏิบัติการวิจัยของรัฐบาลในอาบูดาบี ทำให้ Falcon เป็นหนึ่งในความพยายามด้าน AI ที่โดดเด่นที่สุดนอกสหรัฐอเมริกาและจีน รุ่น Falcon 40B และ Falcon 180B ดั้งเดิมเปิดตัวอย่างเปิดเผย ได้รับการจัดอันดับโดยย่อให้เป็นหนึ่งใน LLM แบบเปิดอันดับต้นๆ และมีความโดดเด่นจากการได้รับการฝึกอบรมเป็นส่วนใหญ่บน RefinedWeb ซึ่งเป็นชุดข้อมูลขนาดใหญ่ที่สร้างขึ้นโดยการกรองเชิงรุกและขจัดข้อมูลซ้ำซ้อนของข้อมูลเว็บ Common Crawl แทนที่จะอาศัยแหล่งข้อมูลที่รวบรวมไว้ TII แย้งว่าข้อมูลเว็บที่ได้รับการทำความสะอาดอย่างดีเพียงอย่างเดียวสามารถแข่งขันกับองค์กรที่เลือกสรรมาเองได้ ต่อมา Falcon Mamba ได้เปิดตัวสถาปัตยกรรมพื้นที่รัฐเป็นทางเลือกแทนหม้อแปลงไฟฟ้า และ Falcon 2 ได้เพิ่มตัวแปรหลายภาษาและภาษาวิสัยทัศน์ โมเดลดังกล่าวได้รับการเผยแพร่ภายใต้เงื่อนไขที่อนุญาต ส่งเสริมการใช้งานเชิงพาณิชย์และการวิจัยทั่วโลก