คู่มือทางเทคนิค
Cloudflare AI Crawler บล็อกและจ่ายต่อการรวบรวมข้อมูล
Cloudflare AI Crawl Control ช่วยให้เจ้าของไซต์ตรวจสอบกิจกรรมของ crawler และใช้นโยบายการอนุญาตหรือบล็อกระดับเครือข่ายผ่านโครงสร้างพื้นฐาน
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 3 นาที
ภาพรวม
ตัวเลือกจ่ายต่อการรวบรวมข้อมูลสามารถเรียกเก็บเงินจากโปรแกรมรวบรวมข้อมูลที่ได้รับการตรวจสอบที่เลือกสำหรับการเข้าถึงเนื้อหาที่ประสบความสำเร็จ แต่ปัจจุบันเป็นรุ่นเบต้าแบบปิดและต้องมีส่วนร่วมของโปรแกรมรวบรวมข้อมูลที่เข้ากันได้
เจาะลึก
Robots.txt ขอให้โปรแกรมรวบรวมข้อมูลที่ปฏิบัติตามคำแนะนำเส้นทางสาธารณะ การควบคุมการรวบรวมข้อมูลของ AI Cloudflare ทำงานที่ขอบเครือข่ายสำหรับไซต์ที่มีการรับส่งข้อมูลผ่าน Cloudflare โดยสามารถแสดงกิจกรรมของโปรแกรมรวบรวมข้อมูล AI และอนุญาตให้เจ้าของอนุญาตหรือบล็อกโปรแกรมรวบรวมข้อมูลที่อยู่ในรายการได้ การบล็อกถูกบังคับใช้ผ่านกฎความปลอดภัยของ Cloudflare ดังนั้นจึงไม่ได้ขึ้นอยู่กับโปรแกรมรวบรวมข้อมูลที่เคารพคำขอ robots.txt ความครอบคลุมยังคงขึ้นอยู่กับการระบุการรับส่งข้อมูลและการกำหนดค่า Cloudflare ของไซต์ อย่าถือว่าทุกคำขออัตโนมัติจะได้รับการยอมรับหรือสตริงตัวแทนผู้ใช้พิสูจน์ตัวตน Pay Per Crawl เพิ่มตัวเลือกการเรียกเก็บเงินสำหรับโปรแกรมรวบรวมข้อมูลที่เลือก เอกสารประกอบของ Cloudflare อธิบายราคาต่อโซนและการแลกเปลี่ยนการชำระเงิน: โปรแกรมรวบรวมข้อมูลที่ไม่มีเจตนาการชำระเงินที่ยอมรับได้สามารถรับ HTTP 402 Payment Required และส่วนหัวราคาของโปรแกรมรวบรวมข้อมูล โปรแกรมรวบรวมข้อมูลที่เข้ากันได้สามารถสร้างคำขอที่ลงนามอีกครั้งพร้อมส่วนหัวการชำระเงิน การเข้าถึงที่สำเร็จจะส่งคืน HTTP 200 และจำนวนเงินที่เรียกเก็บจากโปรแกรมรวบรวมข้อมูล คุณลักษณะนี้ต้องการการสนับสนุนและการตรวจสอบจากฝั่งโปรแกรมรวบรวมข้อมูล ดังนั้นจึงไม่ใช่วิธีทั่วไปในการออกใบแจ้งหนี้ให้กับบอททุกตัวที่เข้าชมไซต์ ขณะนี้ Cloudflare กำหนดให้ Pay Per Crawl เป็นเบต้าแบบปิด ความพร้อมใช้งานและข้อกำหนดอาจมีการเปลี่ยนแปลง เจ้าของไซต์สามารถเลือกการดำเนินการตามโปรแกรมรวบรวมข้อมูล: อนุญาตโดยไม่เสียค่าใช้จ่าย บล็อก หรือเรียกเก็บเงิน บล็อกที่กำหนดค่าผ่าน WAF หรือการจัดการบอทจะแทนที่นโยบายการเรียกเก็บเงิน ดังนั้นกฎที่ขัดแย้งกันจึงต้องมีการตรวจสอบ เอกสารประกอบปัจจุบันของฟีเจอร์ยังระบุด้วยว่าราคาเป็นราคาต่อโซน โดยมีราคาที่กำหนดค่าไว้เพียงราคาเดียวสำหรับโปรแกรมรวบรวมข้อมูลที่ทำเครื่องหมายว่าคิดค่าบริการ และการดึงข้อมูลสำเร็จทุกครั้งสามารถทำให้เกิดจำนวนเงินดังกล่าวได้ พิจารณาการดึงข้อมูลซ้ำ มูลค่าเนื้อหา บันทึกการเรียกเก็บเงิน และพิจารณาว่าควรเรียกเก็บเงินหรือบล็อกโปรแกรมรวบรวมข้อมูลการค้นหา เนื่องจากอาจส่งผลต่อการจัดทำดัชนี เส้นทาง เช่น robots.txt และ sitemap.xml จะแสดงรายการว่าฟรีเสมอในเอกสารประกอบปัจจุบัน เริ่มต้นด้วยการมองเห็นและขอบเขตนโยบายเล็กๆ ตรวจสอบข้อมูลระบุตัวตนของโปรแกรมรวบรวมข้อมูลและรูปแบบคำขอ ตัดสินใจว่าเนื้อหาใดควรคงไว้เป็นสาธารณะหรือฟรี และทดสอบสถานะและส่วนหัว HTTP ที่เป็นผลลัพธ์ด้วยโปรแกรมรวบรวมข้อมูลที่เข้ากันได้ ติดตามการจัดส่งและการเรียกเก็บเงินที่ประสบความสำเร็จ และตรวจสอบสิทธิ์ของบัญชีก่อนที่จะรับรายได้
การใช้งานจริงในโลกแห่งความเป็นจริง
เว็บไซต์ข่าวตรวจสอบการวิเคราะห์ AI Crawl Control ระบุโปรแกรมรวบรวมข้อมูลการฝึกอบรมที่จัดทำเป็นเอกสาร และเพิ่มนโยบายบล็อกในขณะที่พิจารณาว่าควรอนุญาตให้โปรแกรมรวบรวมข้อมูลการค้นหาแยกกันหรือไม่
ผู้เผยแพร่ถือว่า user-agent ของเบราว์เซอร์ปลอมถูกบล็อกโดยอัตโนมัติ จากนั้นตรวจสอบการตรวจจับจริงของ Cloudflare และการกำหนดค่า WAF ก่อนที่จะใช้การป้องกันนั้น
โปรแกรมรวบรวมข้อมูลขอหน้ากำหนดราคา รับ HTTP 402 พร้อมส่วนหัวราคาของโปรแกรมรวบรวมข้อมูล และต้องระบุส่วนหัวจุดประสงค์ในการชำระเงินที่ลงนามเพื่อให้ได้รับการเข้าถึงแบบชำระเงินได้สำเร็จ
เจ้าของไซต์ต้องการทั้งบล็อกและค่าบริการ พวกเขาทราบว่าบล็อก WAF จะแทนที่การดำเนินการเรียกเก็บเงินของ Pay Per Crawl และทดสอบกฎก่อนเปิดใช้งานนโยบาย
อนาคตของ Cloudflare AI Crawler Blocking และการจ่ายต่อการ Crawl
การควบคุมของโปรแกรมรวบรวมข้อมูลอาจพัฒนาไปสู่การกำหนดราคาที่ละเอียดยิ่งขึ้น การยืนยันตัวตน และนโยบายระดับเส้นทางในขณะที่ผู้เผยแพร่และบริการ AI เจรจาต่อรองการเข้าถึง ผู้ให้บริการเครือข่ายสามารถนำเสนอการมองเห็นและการบังคับใช้ที่เป็นประโยชน์ แต่มูลค่าทางธุรกิจขึ้นอยู่กับการนำโปรแกรมรวบรวมข้อมูลไปใช้ การระบุตัวตนที่ถูกต้อง และเงื่อนไขที่ยั่งยืน เจ้าของควรเปรียบเทียบการเข้าถึงแบบชำระเงินกับการบล็อก การออกใบอนุญาต และการมองเห็นการค้นหา และหลีกเลี่ยงการคาดการณ์รายได้จากฟีเจอร์เบต้าโดยไม่มีคำขอที่ต้องชำระเงินที่สังเกตได้ ติดตามการรับเลี้ยงบุตรบุญธรรมจริงและการเรียกค้นที่ต้องชำระเงินก่อนประเมินผลตอบแทน เงื่อนไขเบต้าแบบปิดอาจจำกัดการเข้าร่วม เจ้าของควรทบทวนข้อยกเว้นของเนื้อหาและนโยบายโปรแกรมรวบรวมข้อมูลการค้นหาเมื่อบริการมีการเปลี่ยนแปลง
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบ Cloudflare AI Crawler Blocking และจ่ายต่อการรวบรวมข้อมูล
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
Cloudflare AI Crawler Blocking และ Pay Per Crawl คืออะไร
Cloudflare AI Crawl Control ช่วยให้เจ้าของไซต์ตรวจสอบกิจกรรมของ crawler และใช้นโยบายการอนุญาตหรือบล็อกระดับเครือข่ายผ่านโครงสร้างพื้นฐาน ตัวเลือกจ่ายต่อการรวบรวมข้อมูลสามารถเรียกเก็บเงินจากโปรแกรมรวบรวมข้อมูลที่ได้รับการตรวจสอบที่เลือกสำหรับการเข้าถึงเนื้อหาที่ประสบความสำเร็จ แต่ปัจจุบันเป็นรุ่นเบต้าแบบปิดและต้องมีส่วนร่วมของโปรแกรมรวบรวมข้อมูลที่เข้ากันได้
ไซต์ใช้การควบคุมการรวบรวมข้อมูล Cloudflare AI เพื่อบล็อกโปรแกรมรวบรวมข้อมูลที่อยู่ในรายการ การตัดสินใจบังคับใช้ที่ไหน?
การเจาะลึกจะเปรียบเทียบคำขอ robots.txt กับการบังคับใช้ขอบเครือข่ายผ่านกฎ Cloudflare
โปรแกรมรวบรวมข้อมูลได้รับ HTTP 402 และส่วนหัวราคาของโปรแกรมรวบรวมข้อมูล การตอบสนองนี้บ่งบอกถึงอะไร?
คู่มือนี้อธิบาย 402 และ crawler-price ว่าเป็นคำตอบที่ต้องชำระเงินก่อนเข้าถึงแบบชำระเงิน
อะไรยืนยันการส่งมอบเนื้อหาแบบชำระเงินได้สำเร็จในขั้นตอนที่จัดทำเป็นเอกสาร
คำแนะนำที่มีประสิทธิภาพระบุว่าการเข้าถึงที่สำเร็จจะส่งคืน HTTP 200 และจำนวนเงินที่โปรแกรมรวบรวมข้อมูลเรียกเก็บ
เหตุใดเจ้าของเว็บไซต์จึงไม่สามารถสันนิษฐานได้ว่า Pay Per Crawl จะเรียกเก็บเงินจากบอททุกตัว
คู่มือกล่าวว่าการชำระเงินต้องมีการสนับสนุนฝั่งซอฟต์แวร์รวบรวมข้อมูล และไม่ใช่กลไกการออกใบแจ้งหนี้ของบอทสากล
เจ้าของตั้งค่าโปรแกรมรวบรวมข้อมูลเป็น Charge แต่กฎ WAF บล็อกไว้ เกิดอะไรขึ้น?
เอกสาร Cloudflare ระบุว่าบล็อก WAF หรือ Bot Management จะแทนที่การดำเนินการเรียกเก็บเงิน
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้