คู่มือทางเทคนิค
สถาปัตยกรรมคลาวด์ AI
สถาปัตยกรรมคลาวด์ AI จัดระเบียบการประมวลผล พื้นที่จัดเก็บ เครือข่าย โมเดล และบริการแอปพลิเคชันลงในระบบปฏิบัติการสำหรับปริมาณงาน AI
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
การออกแบบต้องเป็นไปตามความน่าเชื่อถือ ข้อมูล เวลาแฝง และข้อจำกัดด้านต้นทุนของงาน เครื่องเร่งความเร็วอันทรงพลังเป็นเพียงองค์ประกอบหนึ่งของการออกแบบนั้น
ประเด็นสำคัญ
- แยกปริมาณงานตามความต้องการในการปฏิบัติงาน
- บังคับใช้ขอบเขตข้อมูลและการอนุญาต
- ออกแบบความจุ ลองใหม่ และย้อนกลับพร้อมกัน
เจาะลึก
แยกปริมาณงานแบบโต้ตอบและแบบเบื้องหลังเมื่อความต้องการแตกต่างกัน ผู้ใช้ที่รอคำตอบต้องใช้เวลาตอบสนองแบบมีขอบเขต ในขณะที่การประมวลผลแบบแบตช์สามารถใช้คิวและงานที่ใช้เวลานานกว่าได้ ทำให้สถานะคิวและพฤติกรรมลองอีกครั้งสามารถสังเกตได้ กำหนดขอบเขตข้อมูลและบทบาทการเข้าถึง เอกสาร การฝัง สิ่งประดิษฐ์ของโมเดล และบันทึกอาจมีข้อกำหนดการเก็บรักษาและการอนุญาตที่แตกต่างกัน เก็บข้อมูลประจำตัวในการจัดการความลับที่เหมาะสม และหลีกเลี่ยงการสันนิษฐานว่าตำแหน่งเครือข่ายนั้นสร้างการอนุญาตเพียงอย่างเดียว แผนสำหรับการเปลี่ยนแปลงความจุและความล้มเหลวในการขึ้นต่อกัน การปรับขนาดอัตโนมัติอาจต้องใช้เวลา การโหลดโมเดลอาจมีราคาแพง และผู้ให้บริการสามารถกำหนดขีดจำกัดอัตราได้ ใช้การควบคุมการรับเข้า แรงกดดันย้อนกลับ การลองซ้ำแบบมีขอบเขต และสถานะที่ไม่พร้อมใช้งานที่ชัดเจน เพื่อป้องกันไม่ให้การขึ้นต่อกันที่โอเวอร์โหลดหนึ่งครั้งทำให้บริการทั้งหมดล้นหลาม เวอร์ชันการปรับใช้และการกู้คืนการทดสอบ ตรวจสอบโมเดลที่เข้ากันได้และเวอร์ชันการประมวลผลล่วงหน้า การย้ายข้อมูล และขั้นตอนการย้อนกลับ วัดต้นทุนต่องานที่เสร็จสมบูรณ์ที่มีประโยชน์ รวมถึงพื้นที่จัดเก็บ การถ่ายโอน ความพยายามที่ล้มเหลว และทรัพยากรที่ไม่ได้ใช้งาน ราคาที่ต่ำสำหรับการเรียก API หนึ่งครั้งอาจซ่อนเวิร์กโฟลว์โดยรวมที่มีราคาแพงกว่า
04ตัวอย่างการทำงาน
หลีกเลี่ยงการลองขยายเสียงอีกครั้ง
ลองนึกภาพพนักงานแอปพลิเคชัน 100 คนเรียกใช้ตำแหน่งข้อมูลแบบจำลองที่มีอัตราจำกัดเพียงจุดเดียว แต่ละคำขอที่ล้มเหลวจะถูกลองอีกครั้งทันทีห้าครั้ง
ความพยายามเพิ่มเติมจะเพิ่มภาระงานโดยไม่ต้องเพิ่มความจุปลายทาง
ใช้นโยบายการลองใหม่แบบมีขอบเขตซึ่งเคารพการแบ็คออฟของผู้ให้บริการ จำกัดคำขอที่เกิดขึ้นพร้อมกัน และแสดงคิวหรือสถานะไม่พร้อมใช้งานแก่ผู้ใช้
มันแสดงให้เห็นอะไร
ตัวอย่างที่สร้างขึ้นนี้อธิบายว่าสถาปัตยกรรมสามารถป้องกันไม่ให้โอเวอร์โหลดแพร่กระจายได้อย่างไร
การใช้งานจริงในโลกแห่งความเป็นจริง
ใช้คิวที่คงทนสำหรับการประมวลผลเอกสารด้วยสถานะที่มองเห็นได้และการลองใหม่อย่างปลอดภัย
แยกความสามารถในการให้บริการโมเดลออกจากการจัดการคำขอเว็บทั่วไป
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
ที่มาและอ่านเพิ่มเติม
- Google Cloudสถาปัตยกรรม MLOps และระบบอัตโนมัติ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the AI Cloud Architecture quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การปรับขนาดอัตโนมัติกำจัดขีดจำกัดอัตราหรือไม่
ไม่ บริการดาวน์สตรีมอาจรักษาขีดจำกัดของตัวเองไว้ ไม่ว่าคุณจะเรียกใช้อินสแตนซ์แอปพลิเคชันจำนวนเท่าใด
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้