กร็อก

It matters because it delivers some of the fastest inference available, generating hundreds of tokens per second for low-latency AI applications.

Groq ก่อตั้งขึ้นในปี 2016 โดย Jonathan Ross ซึ่งเป็นอดีตวิศวกร Google ที่ช่วยสร้าง TPU โดยมุ่งเน้นไปที่การอนุมาน AI มากกว่าการฝึกอบรม LPU ใช้สถาปัตยกรรมที่กำหนดตารางเวลาด้วยซอฟต์แวร์ที่เรียกว่า Tensor Streaming Process ซึ่งคอมไพเลอร์จะวางแผนการดำเนินการทุกอย่างล่วงหน้า แทนที่จะอาศัยตัวกำหนดเวลาฮาร์ดแวร์แบบไดนามิกและแคชขนาดใหญ่ ความสามารถในการคาดการณ์นี้ช่วยขจัดปัญหาคอขวด และช่วยให้ Groq ให้บริการโมเดลภาษาขนาดใหญ่ เช่น Llama ด้วยความเร็วการสร้างโทเค็นที่สูงอย่างน่าทึ่งพร้อมเวลาแฝงที่ต่ำและสม่ำเสมอ Groq ให้การเข้าถึงผ่าน GroqCloud ซึ่งนักพัฒนาสามารถเรียกใช้โมเดลเปิดยอดนิยมผ่าน API โปรดทราบว่าบริษัท Groq นั้นแตกต่างจาก Chatbot Grok ของ Elon Musk แม้ว่าจะมีชื่อคล้ายกันก็ตาม