ต่อไปคำแนะนำต่อไป
การจัดโครงสร้างโครงการการเรียนรู้ของเครื่อง
เทคนิค
คู่มือทางเทคนิค
JAX ผสมผสานการเขียนโปรแกรมแบบอาร์เรย์ที่คล้ายกับ NumPy เข้ากับการแปลงแบบประกอบได้สำหรับการสร้างความแตกต่างแบบอัตโนมัติ การสร้างเวกเตอร์ การคอมไพล์แบบทันเวลา และการคำนวณแบบขนาน
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
XLA รวบรวมการคำนวณที่เข้ากันได้สำหรับฮาร์ดแวร์ที่รองรับ ในขณะที่รูปแบบการทำงานของ JAX และกฎการติดตามต้องใช้โค้ดเพื่อทำให้สถานะและรูปร่างชัดเจน
JAX นำเสนออาร์เรย์ API ที่คล้ายกับ NumPy และชุดการแปลงที่ทำงานบนฟังก์ชัน Python jax.grad มาจากการไล่ระดับสีสำหรับการคำนวณเชิงอนุพันธ์ jax.vmap กำหนดเวกเตอร์ฟังก์ชันที่เขียนสำหรับตัวอย่างหนึ่งชุดในแบตช์ jax.jit ติดตามฟังก์ชันที่เข้ากันได้และรวบรวมการดำเนินการเพื่อให้ XLA สามารถเพิ่มประสิทธิภาพการดำเนินการได้ การแปลงเหล่านี้สามารถประกอบขึ้นได้ เช่น การรวบรวมฟังก์ชันเกรเดียนต์แบบเวกเตอร์ การออกแบบนี้สนับสนุนฟังก์ชันล้วนๆ: เอาต์พุตขึ้นอยู่กับอินพุตที่ชัดเจนมากกว่าสถานะที่ไม่แน่นอนที่ซ่อนอยู่ การสุ่มได้รับการจัดการด้วยคีย์ที่ชัดเจนซึ่งแยกและส่งผ่านการคำนวณ อาร์เรย์ไม่เปลี่ยนรูปในโมเดลการเขียนโปรแกรม และการอัพเดตจะสร้างค่าใหม่ กฎเหล่านี้ทำให้การเปลี่ยนแปลงมีเหตุผลได้ง่ายขึ้น แต่อาจให้ความรู้สึกที่แตกต่างจากโค้ด NumPy หรือ PyTorch แทนที่ได้ JAX ติดตามฟังก์ชันโดยใช้ค่านามธรรมและรูปร่าง โฟลว์การควบคุม Python ที่ขึ้นอยู่กับค่าอาร์เรย์รันไทม์อาจไม่ทำงานตามที่คาดไว้ภายใต้การแปลง ใช้การดำเนินการควบคุมโฟลว์ที่เข้ากันได้กับ JAX เมื่อจำเป็น รูปร่างและอาร์กิวเมนต์แบบคงที่อาจส่งผลต่อแคชการคอมไพล์ และรูปร่างที่เปลี่ยนแปลงอาจทำให้เกิดการคอมไพล์เพิ่มเติม การคอมไพล์มีค่าใช้จ่ายเริ่มต้น ดังนั้นการวัดประสิทธิภาพหลังจากการวอร์มอัพและซิงโครไนซ์อุปกรณ์อะซิงโครนัสจึงทำงานเมื่อทำการวัด สำหรับงานแบบขนาน JAX มีหลายวิธี ในอดีต pmap แมปการคำนวณข้ามอุปกรณ์ JAX ปัจจุบันยังรองรับ API การแบ่งส่วนอย่างชัดเจนและการแปลงแบบขนานอื่นๆ ตัวเลือกที่ดีที่สุดขึ้นอยู่กับเวอร์ชัน JAX และเวิร์กโหลด XLA สามารถกำหนดเป้าหมาย CPU, GPU และ TPU ที่รองรับได้ แต่แบ็กเอนด์และประสิทธิภาพที่มีอยู่นั้นขึ้นอยู่กับการติดตั้งและฮาร์ดแวร์ JAX มีประโยชน์เมื่อการแปลงฟังก์ชันและการเพิ่มประสิทธิภาพที่ขับเคลื่อนด้วยคอมไพเลอร์เหมาะสมกับงาน PyTorch อาจคุ้นเคยมากกว่าหรือรองรับได้ดีกว่าโดยโค้ดเบสที่มีอยู่ เปรียบเทียบไปป์ไลน์ข้อมูล เครื่องมือแก้ไขข้อบกพร่อง ไลบรารี ความต้องการในการปรับใช้ และประสบการณ์ของทีม แทนที่จะประกาศเฟรมเวิร์กเดียวที่เหนือกว่าในระดับสากล เริ่มต้นด้วยฟังก์ชันเล็กๆ และตรวจสอบพฤติกรรมที่คอมไพล์แล้วก่อนที่จะปรับขนาด
นักวิจัยกำหนดฟังก์ชันการสูญเสียที่แท้จริง รับการไล่ระดับสีด้วย jax.grad และเปรียบเทียบกับการตรวจสอบเชิงตัวเลข
โมเดลแบทช์ที่เขียนขึ้นสำหรับตัวอย่างหนึ่งใช้ jax.vmap เพื่อนำไปใช้กับการสังเกตโดยไม่มีการวนซ้ำ Python
ขั้นตอนการฝึกอบรมรวมอยู่ใน jax.jit ดังนั้น XLA จึงสามารถรวบรวมการดำเนินการที่ใหญ่ขึ้นสำหรับอุปกรณ์ที่เลือกได้
วิศวกรใช้เครื่องมือการแบ่งส่วน JAX เพื่อกระจายการคำนวณอาเรย์และตรวจสอบว่าอุปกรณ์ใดเก็บแต่ละส่วนของอาเรย์ไว้
JAX จะยังคงพัฒนาความสามารถด้านคอมไพเลอร์และการแบ่งส่วนย่อยต่อไป ในขณะที่ฮาร์ดแวร์เร่งความเร็วและเวิร์กโหลดแบบกระจายมีการพัฒนาต่อไป โมเดลการแปลงฟังก์ชันยังคงมีคุณค่าสำหรับการสร้างความแตกต่าง การสร้างเวกเตอร์ และการคอมไพล์ ระบบนิเวศอาจเปลี่ยนแปลงคำแนะนำ API ดังนั้นตัวอย่างควรคำนึงถึงเวอร์ชัน นักพัฒนายังคงจำเป็นต้องให้เหตุผลเกี่ยวกับการติดตาม ค่าใช้จ่ายในการคอมไพล์ การเคลื่อนไหวของข้อมูล และผลลัพธ์ที่เป็นตัวเลข เมื่อใช้การดำเนินการที่ได้รับการสนับสนุนจาก XLA ทีมควรบันทึกการวอร์มอัพ สมมติฐานด้านรูปร่าง เวอร์ชันแบ็กเอนด์ และกฎการแบ่งส่วน ตรวจสอบพฤติกรรมเชิงตัวเลขอีกครั้งหลังจากการเปลี่ยนแปลง toolchain และเปรียบเทียบกับพื้นฐานที่กระตือรือร้นเป็นขนาดการกำหนดค่า
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
JAX ผสมผสานการเขียนโปรแกรมแบบอาร์เรย์ที่คล้ายกับ NumPy เข้ากับการแปลงแบบประกอบได้สำหรับการสร้างความแตกต่างแบบอัตโนมัติ การสร้างเวกเตอร์ การคอมไพล์แบบทันเวลา และการคำนวณแบบขนาน XLA รวบรวมการคำนวณที่เข้ากันได้สำหรับฮาร์ดแวร์ที่รองรับ ในขณะที่รูปแบบการทำงานของ JAX และกฎการติดตามต้องใช้โค้ดเพื่อทำให้สถานะและรูปร่างชัดเจน
jax.grad แปลงฟังก์ชันค่าสเกลาร์ให้เป็นฟังก์ชันไล่ระดับสี
vmap ใช้ฟังก์ชันกับอินพุตแบบแบตช์โดยไม่ต้องเขียนลูปด้วยตนเอง
jit ติดตามและคอมไพล์งานที่เข้ากันได้สำหรับแบ็กเอนด์ที่รองรับ
ค่าที่ติดตามจะเป็นนามธรรมในระหว่างการคอมไพล์ และไม่สามารถควบคุมการดำเนินการ Python ได้เสมอไป
คีย์จะถูกส่งผ่านและแยกอย่างชัดเจน แทนที่จะอาศัยสถานะ RNG ที่ไม่แน่นอนโดยนัย
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การจัดโครงสร้างโครงการการเรียนรู้ของเครื่อง
เทคนิค