ภาพรวม
Neural Radiance Fields (NeRF) สร้างฉาก 3D ขึ้นมาใหม่จากภาพถ่ายธรรมดาจำนวนหนึ่ง ช่วยให้คุณสามารถบินกล้องไปยังมุมมองใหม่เอี่ยม โดยปรับกรอบการจับภาพ 3 มิติใหม่เป็นการฝึกฝนโครงข่ายประสาทเทียมขนาดเล็ก แทนที่จะสร้างตาข่าย
Neural Radiance Fields เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินการ และความคิดสร้างสรรค์
เจาะลึก
NeRF เปิดตัวในปี 2020 โดย Mildenhall และเพื่อนร่วมงาน โดยจะจัดเก็บฉากทั้งหมดไว้ภายในโครงข่ายประสาทเทียมขนาดเล็ก (perceptron หลายชั้น) เมื่อพิจารณาจากจุด 3 มิติและทิศทางการรับชม เครือข่ายจะแสดงสีของจุดนั้นและระดับความทึบของจุดนั้น ในการเรนเดอร์พิกเซล NeRF ยิงรังสีเข้าไปในฉาก ตัวอย่างชี้ไปตามนั้น ค้นหาเครือข่าย และผสมผสานผลลัพธ์โดยใช้การเรนเดอร์ระดับเสียง เนื่องจากกระบวนการทั้งหมดนี้สร้างความแตกต่างได้ เครือข่ายจึงได้รับการฝึกฝนโดยการเปรียบเทียบพิกเซลที่เรนเดอร์กับภาพถ่ายอินพุตจริง และปรับจนกว่าจะตรงกัน ผลตอบแทนที่ได้คือความสมจริงของภาพถ่ายที่น่าทึ่ง รวมถึงเอฟเฟกต์ที่ขึ้นอยู่กับมุมมอง เช่น ภาพสะท้อนและไฮไลท์มันเงาที่เปลี่ยนแปลงเมื่อคุณเคลื่อนไหว ข้อเสียคือแต่ละฉากต้องมีการฝึกซ้อมของตัวเอง และวิธีการเดิมนั้นช้าทั้งในการฝึกฝนและเรนเดอร์
ข้อมูลเชิงลึกทางเทคนิค
NeRF แสดงฉากเป็นฟังก์ชัน 5D ต่อเนื่อง โดยป้อนตำแหน่ง (x, y, z) บวกทิศทางการรับชม (สองมุม) จากนั้น MLP จะส่งกลับสี RGB และความหนาแน่นของปริมาตร รายละเอียดที่สำคัญคือการเข้ารหัสตำแหน่ง ซึ่งแมปพิกัดผ่านฟังก์ชันไซน์และโคไซน์ความถี่สูง เพื่อให้เครือข่ายสามารถจับรายละเอียดที่คมชัดแทนที่จะสร้างเอาต์พุตที่พร่ามัว การเรนเดอร์จะรวมสีและความหนาแน่นไปตามรังสีของกล้องแต่ละอัน โดยให้น้ำหนักตัวอย่างที่ใกล้กว่าและทึบแสงมากขึ้น ซึ่งตรงกับการคำนวณของการเรนเดอร์แบบคลาสสิกที่ทำให้สามารถฝึกได้
การเรียนรู้สนามความกระจ่างใสของระบบประสาท
Neural Radiance Fields (NeRF) สร้างฉาก 3D ขึ้นมาใหม่จากภาพถ่ายธรรมดาจำนวนหนึ่ง ช่วยให้คุณสามารถบินกล้องไปยังมุมมองใหม่เอี่ยม โดยปรับกรอบการจับภาพ 3 มิติใหม่เป็นการฝึกฝนโครงข่ายประสาทเทียมขนาดเล็ก แทนที่จะสร้างตาข่าย Neural Radiance Fields เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินการ และความคิดสร้างสรรค์ หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Neural Radiance Fields เป็นเพียงแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Neural Radiance Fields จะรักษาสมดุลระหว่างความแม่นยำกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสม่ำเสมอในการติดฉลาก โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การเปลี่ยนวิดีโอในโทรศัพท์ของวัตถุให้เป็นมุมมอง 3 มิติที่คุณสามารถโคจรสำหรับการช็อปปิ้งออนไลน์ได้
การสร้างสถานที่จริงขึ้นมาใหม่ให้เป็นฉากหลังเสมือนจริงสำหรับภาพยนตร์และเอฟเฟ็กต์ภาพ
สร้างฉาก 3 มิติที่สมจริงสำหรับประสบการณ์เสมือนจริงและความเป็นจริงเสริม
อนุรักษ์มรดกทางวัฒนธรรมและสิ่งประดิษฐ์จากชุดภาพถ่ายแบบดิจิทัล
รูปแบบการดำเนินงาน
สนามรังสีประสาทในทางปฏิบัติ
การเปลี่ยนวิดีโอในโทรศัพท์ของวัตถุให้เป็นมุมมอง 3 มิติที่คุณสามารถโคจรสำหรับการช็อปปิ้งออนไลน์ได้
การเปลี่ยนวิดีโอจากโทรศัพท์ของวัตถุให้เป็นมุมมอง 3 มิติที่คุณสามารถโคจรสำหรับการช็อปปิ้งออนไลน์ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการผลิตที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
สนามรังสีประสาทในทางปฏิบัติ
การสร้างสถานที่จริงขึ้นมาใหม่ให้เป็นฉากหลังเสมือนจริงสำหรับภาพยนตร์และเอฟเฟ็กต์ภาพ
การสร้างสถานที่จริงขึ้นมาใหม่ให้เป็นฉากหลังเสมือนจริงสำหรับภาพยนตร์และเอฟเฟ็กต์ภาพ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการผลิตที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
สนามรังสีประสาทในทางปฏิบัติ
สร้างฉาก 3 มิติที่สมจริงสำหรับประสบการณ์เสมือนจริงและความเป็นจริงเสริม
การสร้างฉาก 3 มิติที่สมจริงสำหรับประสบการณ์เสมือนจริงและความเป็นจริงเสริม ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
สนามรังสีประสาทในทางปฏิบัติ
อนุรักษ์มรดกทางวัฒนธรรมและสิ่งประดิษฐ์จากชุดภาพถ่ายแบบดิจิทัล
การอนุรักษ์มรดกทางวัฒนธรรมและสิ่งประดิษฐ์จากชุดภาพถ่ายแบบดิจิทัล ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการผลิตที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น