คู่มือทางเทคนิค

สถาปัตยกรรมคลาวด์ AI

สถาปัตยกรรมคลาวด์ AI จัดระเบียบการประมวลผล พื้นที่จัดเก็บ เครือข่าย โมเดล และบริการแอปพลิเคชันลงในระบบปฏิบัติการสำหรับปริมาณงาน AI

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. ประเด็นสำคัญ
  3. เจาะลึก
  4. หลีกเลี่ยงการลองขยายเสียงอีกครั้ง
  5. การใช้งานจริงในโลกแห่งความเป็นจริง
  6. การนำไปปฏิบัติ
  7. ที่มาและอ่านเพิ่มเติม
  8. สำรวจต่อไป
  9. คำถามที่พบบ่อย

ภาพรวม

การออกแบบต้องเป็นไปตามความน่าเชื่อถือ ข้อมูล เวลาแฝง และข้อจำกัดด้านต้นทุนของงาน เครื่องเร่งความเร็วอันทรงพลังเป็นเพียงองค์ประกอบหนึ่งของการออกแบบนั้น

ประเด็นสำคัญ

  1. แยกปริมาณงานตามความต้องการในการปฏิบัติงาน
  2. บังคับใช้ขอบเขตข้อมูลและการอนุญาต
  3. ออกแบบความจุ ลองใหม่ และย้อนกลับพร้อมกัน

เจาะลึก

แยกปริมาณงานแบบโต้ตอบและแบบเบื้องหลังเมื่อความต้องการแตกต่างกัน ผู้ใช้ที่รอคำตอบต้องใช้เวลาตอบสนองแบบมีขอบเขต ในขณะที่การประมวลผลแบบแบตช์สามารถใช้คิวและงานที่ใช้เวลานานกว่าได้ ทำให้สถานะคิวและพฤติกรรมลองอีกครั้งสามารถสังเกตได้ กำหนดขอบเขตข้อมูลและบทบาทการเข้าถึง เอกสาร การฝัง สิ่งประดิษฐ์ของโมเดล และบันทึกอาจมีข้อกำหนดการเก็บรักษาและการอนุญาตที่แตกต่างกัน เก็บข้อมูลประจำตัวในการจัดการความลับที่เหมาะสม และหลีกเลี่ยงการสันนิษฐานว่าตำแหน่งเครือข่ายนั้นสร้างการอนุญาตเพียงอย่างเดียว แผนสำหรับการเปลี่ยนแปลงความจุและความล้มเหลวในการขึ้นต่อกัน การปรับขนาดอัตโนมัติอาจต้องใช้เวลา การโหลดโมเดลอาจมีราคาแพง และผู้ให้บริการสามารถกำหนดขีดจำกัดอัตราได้ ใช้การควบคุมการรับเข้า แรงกดดันย้อนกลับ การลองซ้ำแบบมีขอบเขต และสถานะที่ไม่พร้อมใช้งานที่ชัดเจน เพื่อป้องกันไม่ให้การขึ้นต่อกันที่โอเวอร์โหลดหนึ่งครั้งทำให้บริการทั้งหมดล้นหลาม เวอร์ชันการปรับใช้และการกู้คืนการทดสอบ ตรวจสอบโมเดลที่เข้ากันได้และเวอร์ชันการประมวลผลล่วงหน้า การย้ายข้อมูล และขั้นตอนการย้อนกลับ วัดต้นทุนต่องานที่เสร็จสมบูรณ์ที่มีประโยชน์ รวมถึงพื้นที่จัดเก็บ การถ่ายโอน ความพยายามที่ล้มเหลว และทรัพยากรที่ไม่ได้ใช้งาน ราคาที่ต่ำสำหรับการเรียก API หนึ่งครั้งอาจซ่อนเวิร์กโฟลว์โดยรวมที่มีราคาแพงกว่า

04ตัวอย่างการทำงาน

หลีกเลี่ยงการลองขยายเสียงอีกครั้ง

  1. ลองนึกภาพพนักงานแอปพลิเคชัน 100 คนเรียกใช้ตำแหน่งข้อมูลแบบจำลองที่มีอัตราจำกัดเพียงจุดเดียว แต่ละคำขอที่ล้มเหลวจะถูกลองอีกครั้งทันทีห้าครั้ง

  2. ความพยายามเพิ่มเติมจะเพิ่มภาระงานโดยไม่ต้องเพิ่มความจุปลายทาง

  3. ใช้นโยบายการลองใหม่แบบมีขอบเขตซึ่งเคารพการแบ็คออฟของผู้ให้บริการ จำกัดคำขอที่เกิดขึ้นพร้อมกัน และแสดงคิวหรือสถานะไม่พร้อมใช้งานแก่ผู้ใช้

มันแสดงให้เห็นอะไร

ตัวอย่างที่สร้างขึ้นนี้อธิบายว่าสถาปัตยกรรมสามารถป้องกันไม่ให้โอเวอร์โหลดแพร่กระจายได้อย่างไร

การใช้งานจริงในโลกแห่งความเป็นจริง

ใช้คิวที่คงทนสำหรับการประมวลผลเอกสารด้วยสถานะที่มองเห็นได้และการลองใหม่อย่างปลอดภัย

แยกความสามารถในการให้บริการโมเดลออกจากการจัดการคำขอเว็บทั่วไป

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

ที่มาและอ่านเพิ่มเติม

  1. Google Cloudสถาปัตยกรรม MLOps และระบบอัตโนมัติ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the AI Cloud Architecture quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การปรับขนาดอัตโนมัติกำจัดขีดจำกัดอัตราหรือไม่

ไม่ บริการดาวน์สตรีมอาจรักษาขีดจำกัดของตัวเองไว้ ไม่ว่าคุณจะเรียกใช้อินสแตนซ์แอปพลิเคชันจำนวนเท่าใด

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →