นักวิจัยสร้างเครื่องจำลองแคมเปญที่มีอิทธิพลของ AI สำหรับตัวแทน 100,000 ราย

เกิดอะไรขึ้น

เอกสาร arXiv ใหม่นำเสนอ IO Factory ซึ่งเป็นกรอบการวิจัยสำหรับการจำลองแคมเปญที่มีอิทธิพลซึ่งเปิดใช้งาน AI เป็นวงจรชีวิตที่ตรวจสอบย้อนกลับได้ ระบบเชื่อมต่อการดำเนินการของตัวแทนที่ประสานงานกับบันทึกการเปิดเผยและกำหนดค่าการเปลี่ยนแปลงผู้ชม ช่วยให้นักวิจัยสามารถเปรียบเทียบแคมเปญที่ใช้งานอยู่กับเส้นฐานที่ตรงกันภายในแพลตฟอร์มที่มีการควบคุม

เฟรมเวิร์กจะแยกสามเลเยอร์ที่มักจะถูกยุบในการอภิปรายเกี่ยวกับการจัดการทางออนไลน์: ระนาบควบคุมที่กำหนดเวลาการทดสอบ ระนาบการจำลองที่เจ้าหน้าที่ดำเนินการบนแพลตฟอร์ม และระนาบการประเมินที่วัดการสัมผัสและการเปลี่ยนแปลงสถานะ ข้อความจะไม่นับว่ามีอิทธิพลเพียงเพราะมันถูกสร้างขึ้น จะต้องวางไว้ มองเห็นได้ภายใต้กฎของแพลตฟอร์ม เข้าถึงพลเรือนตามแบบจำลอง ผ่านขั้นตอนการวัดที่กำหนดค่าไว้ จากนั้นจึงนำไปเปรียบเทียบกับเส้นพื้นฐาน

การใช้งานที่รายงานใช้ Gemma 4 31B บนโหนด H200 สำหรับนักแสดงจำลอง และสนับสนุนการดำเนินการตรวจสอบกับพลเรือน 100,000 รายและผู้ปฏิบัติงานที่มีอิทธิพล 10,000 ราย หลักฐานที่ตรงกันของรายงานนี้มาจากการออกแบบที่มีขนาดเล็กลง โดยมีพลเรือน 10,000 คน และแบบจำลองที่แอ็คทีฟพื้นฐานที่จับคู่กัน 13 คู่ ผู้เขียนทดสอบสถานการณ์จำลองแบบสองโครงสร้างโดยมีเป้าหมายเพื่อเพิ่มความไว้วางใจในรัสเซียและการสนับสนุนการกินแมลง บวกกับสถานการณ์แยกต่างหากที่กำหนดเป้าหมายความไว้วางใจที่ลดลงในสถาบันสาธารณะ นี่เป็นการตั้งค่าการจำลอง ไม่ใช่การสังเกตเกี่ยวกับประชากรจริง

ในการออกแบบโครงสร้างสองชิ้น บทความรายงานรายงานการยกทิศทางที่ 0.132 สำหรับการสนับสนุนการกินแมลง และ 0.130 สำหรับความไว้วางใจในรัสเซีย ในการออกแบบโครงสร้างเดี่ยว ความไว้วางใจในสถาบันสาธารณะลดลงเมื่อเทียบกับพื้นฐาน โดยเพิ่มขึ้นตามรายงานที่ปรับป้ายแล้ว 0.336 จุดสิ้นสุดหลักทั้งสามจุดมีนัยสำคัญหลังจากการแก้ไข Holm ที่ p<0.001 ตารางเดียวกันนี้รายงานโพลาไรซ์ที่มีแบบจำลองสูงกว่าในการวิ่งที่ใช้งานอยู่ ซึ่งรวมถึง 4.714 เทียบกับ 3.865 สำหรับการออกแบบโครงสร้างเดียว แต่ค่าเหล่านั้นยังคงอยู่ในระดับของเครื่องจำลอง

ผู้เขียนยังรายงานสัดส่วนการเข้าถึงเชิงรุกที่ประมาณ 0.494 ในการออกแบบหลักทั้งสอง ซึ่งหมายความว่าประมาณครึ่งหนึ่งของพลเรือนจำลองมีบันทึกการสัมผัสที่เกี่ยวข้องกับแหล่งที่มาของอิทธิพล กิจกรรมการถ่ายทอดของพลเรือนต่ำภายใต้มาตรการที่กำหนดไว้ โดยเฉพาะอย่างยิ่งในการออกแบบโครงสร้างเดี่ยว เอกสารนี้จำกัดการตีความซ้ำแล้วซ้ำเล่า: การรันแสดงให้เห็นว่า IO Factory สามารถดำเนินการและวัดผลสมมติฐานของแคมเปญที่ประกาศ ไม่ใช่ว่าแคมเปญ AI จะบรรลุผลเหล่านั้นบนแพลตฟอร์มหรือประชากรจริง

รายละเอียดที่มา: IO Factory research paper on arXiv ↗

ทำไมมันถึงสำคัญ

การมีส่วนร่วมในทางปฏิบัติคือแนวทางการตรวจสอบสำหรับโมเดลภัยคุกคามที่ไม่สามารถเข้าใจได้จากโพสต์ที่แยกออกไป ช่วยให้ผู้พิทักษ์มีวิธีทดสอบว่าการประสานงาน การมองเห็นแพลตฟอร์ม การเปิดรับ และการวัดผลผู้ชมโต้ตอบกันอย่างไร ก่อนที่จะถือว่ารูปแบบสังเคราะห์เป็นหลักฐานของอิทธิพลที่แท้จริง

แบบจำลองเชิงกำเนิดสามารถทำให้ข้อความมีราคาถูก คล่องแคล่ว และปรับแต่งได้ แต่ปริมาณข้อความเพียงอย่างเดียวไม่สามารถสร้างการโน้มน้าวใจได้ แหล่งที่มาของความไว้วางใจ การทำซ้ำ บริบททางสังคม ความเชื่อก่อนหน้านี้ และเส้นทางที่บุคคลเผชิญกับข้อกล่าวอ้างล้วนมีความสำคัญ IO Factory ทำให้สมมติฐานเหล่านั้นชัดเจนโดยเป็นส่วนหนึ่งของวงจรชีวิต ดังนั้นนักวิจัยจึงสามารถดูได้ว่าขั้นตอนใดที่เปลี่ยนแปลงไประหว่างการวิ่งที่ใช้งานอยู่และเส้นพื้นฐาน แทนที่จะระบุความแตกต่างทั้งหมดให้กับโมเดลภาษา

โครงสร้างดังกล่าวสามารถปรับปรุงการฝึกป้องกันได้ แพลตฟอร์ม ผู้ตรวจสอบการเลือกตั้ง กลุ่มเพื่อสาธารณประโยชน์ หรือทีมรักษาความปลอดภัยสามารถเปลี่ยนแปลงจำนวนเจ้าหน้าที่ประสานงาน ระยะเวลาในการดำเนินการ กฎการมองเห็น หรือจุดแทรกแซง จากนั้นตรวจสอบบันทึกที่มาที่ตามมา ค่านี้ไม่ใช่การคาดการณ์จากประชากรสมมติ เป็นสถานที่ที่สามารถทำซ้ำได้เพื่อถามว่าสัญญาณใดที่สังเกตได้ การวัดใดที่ขาดหายไป และกลไกการตรวจจับหรือแรงเสียดทานที่เสนออาจส่งผลต่อเส้นทางการรณรงค์อย่างไร

การแยกการดำเนินการออกจากหลักฐานของรายงานมีประโยชน์อย่างยิ่งสำหรับการวิเคราะห์เหตุการณ์ กลุ่มของข้อความที่คล้ายกันอาจเป็นอาการ แต่หลักฐานที่ชัดเจนกว่าจะเชื่อมโยงเรื่องราว การกระทำ เส้นทางการสัมผัส และการปรับตัวเมื่อเวลาผ่านไป เครื่องจำลองที่มีการควบคุมสามารถช่วยให้นักวิจัยออกแบบบันทึกเหล่านั้นและเปรียบเทียบวิธีการตรวจจับได้ นอกจากนี้ยังอาจเปิดเผยเมื่อผู้ประเมินกำลังวัดกิจกรรมหรือความเชื่อมั่นของผู้พิพากษาแบบจำลองมากกว่าการเปลี่ยนแปลงความเชื่อของผู้ชม

มีการรักษาผลประโยชน์สาธารณะในการรักษาขอบเขตให้มองเห็นได้ สถานการณ์ของรัสเซีย การสนับสนุนแมลง และความน่าเชื่อถือของสถาบันที่รายงานเป็นโครงสร้างที่สามารถกำหนดค่าได้ที่เลือกไว้สำหรับการทดลอง ไม่ใช่ผลการสำรวจ การค้นพบข่าวกรอง หรือข้อพิสูจน์ว่าผู้คนถูกชักชวน การปฏิบัติต่อผลลัพธ์จากเครื่องจำลองเสมือนเป็นเหตุการณ์ในโลกแห่งความเป็นจริงจะทำให้เกิดความเสี่ยงด้านข้อมูลประเภทอื่น กล่าวคือ การสาธิตสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นหลักฐานเกี่ยวกับประเทศ ชุมชน หรือการเลือกตั้ง

จะดูอะไรต่อไป.

หลักฐานถัดไปควรเชื่อมต่อเครื่องจำลองกับการสังเกตที่รวบรวมอย่างมีจริยธรรม ทดสอบว่าการวัดจะรอดจากการเปลี่ยนแปลงแบบจำลองและแพลตฟอร์มหรือไม่ และแสดงให้เห็นว่าผู้พิทักษ์สามารถใช้เส้นทางการตรวจสอบโดยไม่ต้องเปลี่ยนผลลัพธ์สังเคราะห์ให้เป็นข้อกล่าวหาได้อย่างไร

นักวิจัยอิสระควรทำซ้ำการออกแบบที่ตรงกันด้วยแบบจำลองภาษา นโยบายของนักแสดง ตัวสร้างประชากร และโครงสร้างเครือข่ายที่แตกต่างกัน เอกสารปัจจุบันใช้การกำหนดค่าแบบจำลองเดียวสำหรับการรันที่รายงานและประกาศกฎการจำลองหลายกฎ การวิเคราะห์ความไวควรแสดงให้เห็นว่าข้อสรุปใดยังคงมีอยู่เมื่อคุณภาพของข้อความ ความน่าเชื่อถือของแหล่งที่มา เกณฑ์การรับแสง และพฤติกรรมการถ่ายทอดเปลี่ยนแปลง แทนที่จะสมมติว่าการกำหนดพารามิเตอร์เดียวแสดงถึงชีวิตออนไลน์

การสอบเทียบเทียบกับการสังเกตจริงเป็นขั้นตอนที่ยากกว่า ข้อมูลภาคสนามด้านจริยธรรมอาจรวมถึงมาตรการการเข้าถึงและการโต้ตอบแบบสาธารณะ ได้รับความยินยอม หรือรักษาความเป็นส่วนตัว แต่ข้อมูลเหล่านั้นจะไม่เปิดเผยการเปลี่ยนแปลงความเชื่อโดยอัตโนมัติ งานในอนาคตควรเปรียบเทียบเหตุการณ์บนแพลตฟอร์มกับมาตรการทางสังคมศาสตร์ที่ผ่านการตรวจสอบแล้ว เปิดเผยความไม่แน่นอน และแยกแยะสิ่งที่เครื่องจำลองสามารถทำซ้ำได้จากสิ่งที่ทำให้เป็นไปได้ทางสายตาเท่านั้น ผู้ตัดสินตามแบบจำลองควรยังคงเป็นเครื่องมือวัดผลในการตรวจสอบ ไม่ใช่ใช้ทดแทนความจริงภาคสนาม

ผู้พิทักษ์ควรทดสอบแคมเปญที่ปรับเปลี่ยนได้และการแทรกแซงการป้องกัน บทความนี้อธิบายถึงการวางแผน การเปิดรับ การวัดผล และการปรับตัว แต่ศัตรูที่แท้จริงสามารถเปลี่ยนช่วงเวลา เอกลักษณ์ของแหล่งที่มา ภาษา หรือรูปแบบการโต้ตอบได้หลังจากเรียนรู้สิ่งที่ถูกติดตาม การประเมินที่เป็นประโยชน์จะเปรียบเทียบแรงเสียดทาน การบันทึกแหล่งที่มา การตรวจจับพฤติกรรมที่ประสานกัน และการตรวจสอบโดยมนุษย์ ขณะเดียวกันก็วัดผลบวกลวงและผลกระทบที่เป็นหลักประกันต่อผู้ใช้ทั่วไป

สุดท้ายนี้ การใช้งานอย่างมีความรับผิดชอบจำเป็นต้องมีการควบคุมรอบกรอบการทำงานเอง สภาพแวดล้อมแบบทีมสีแดงควรทำให้สถานการณ์มีขอบเขต หลีกเลี่ยงการกำหนดเป้าหมายไปที่บุคคลจริง ปกป้องข้อมูลที่เชื่อมโยงใดๆ และจัดทำเอกสารว่าตัวแทนสังเคราะห์และเนื้อหาที่สร้างขึ้นถูกแยกออกจากแพลตฟอร์มสาธารณะอย่างไร จนกว่าจะมีการตรวจสอบความถูกต้องจากภายนอก IO Factory จึงเป็นที่เข้าใจดีที่สุดว่าเป็นการวิจัยที่โปร่งใสและเครื่องมือสร้างแบบจำลองภัยคุกคาม ซึ่งมีคุณค่าสำหรับการทดสอบสมมติฐาน ไม่เพียงพอสำหรับการอ้างสิทธิ์ในการโน้มน้าวใจในโลกแห่งความเป็นจริงหรือเหตุการณ์ที่เกิดขึ้นจริง

คำแนะนำและแบบทดสอบที่เกี่ยวข้อง