AI trong kiểm duyệt nội dung video
AI đánh giá video đã tải lên và phát trực tiếp để phát hiện nội dung có hại như bạo lực, ảnh khoả thân hoặc lời nói căm thù nhanh hơn nhiều so với khả năng của con người.
Tổng quan
It matters because platforms receive hundreds of hours of video every minute, making manual review impossible at scale.
Lặn sâu
Kiểm duyệt video là đa phương thức: một clip duy nhất chứa hình ảnh, chuyển động, âm thanh và văn bản trên màn hình. Hệ thống lấy mẫu các khung và chạy trình phân loại thị giác máy tính để phát hiện ảnh khỏa thân, vũ khí, máu me hoặc biểu tượng cực đoan; họ phân tích chuyển động trên các khung hình để đánh dấu các hành động bạo lực; chuyển lời nói thành văn bản chuyển âm thanh để các mô hình NLP có thể phát hiện được lời nói căm thù hoặc các mối đe dọa; và nhận dạng ký tự quang học sẽ đọc văn bản được phủ trên video. Một kỹ thuật quan trọng là băm: các video đã biết có hại (như tài liệu tuyên truyền khủng bố hoặc lạm dụng trẻ em) được chuyển đổi thành dấu vân tay kỹ thuật số để các hoạt động tải lên lại sẽ bị chặn ngay lập tức mà không cần phân tích lại. Vì bối cảnh rất quan trọng nên một bản tin thể hiện bạo lực khác với việc tôn vinh nó, hầu hết các nền tảng đều sử dụng AI để phân loại và ưu tiên, sau đó chuyển các trường hợp không rõ ràng đến người đánh giá.
Hiểu biết kỹ thuật
Băm nhận thức (chẳng hạn như PhotoDNA và PDQ cho hình ảnh, cộng với các biến thể băm video) tạo ra một dấu vân tay mạnh mẽ để thay đổi kích thước, nén lại hoặc chỉnh sửa nhỏ, do đó, bản tải lên lại bị thay đổi một chút vẫn khớp với mục nhập đã biết là xấu trong cơ sở dữ liệu chung của ngành. Đối với nội dung mới, bộ phân loại sâu chạy trên các khung hình và phân đoạn âm thanh được lấy mẫu, tạo ra điểm tin cậy; chỉ những mục gần ranh giới quyết định mới được chuyển đến con người, điều này giúp quản lý chi phí và độ trễ ở mức hàng tỷ lượt tải lên.
Tác động chiến lược
Xây dựng lựa chọn
Thiết kế cấp ứng dụng xác định liệu AI có cải thiện kết quả thực tế hay không.
Nhóm và quy trình làm việc
Tích hợp quy trình làm việc tốt sẽ giúp tăng năng suất mà người dùng có thể tin tưởng.
Rủi ro và an toàn
Các trường hợp sử dụng có phạm vi phù hợp giúp giảm bớt sự mệt mỏi khi thay đổi và rủi ro triển khai.
Tương lai của AI trong kiểm duyệt nội dung video
Các mô hình đang hướng tới sự hiểu biết thực sự về video, suy luận về câu chuyện của toàn bộ clip thay vì các khung hình riêng biệt, giúp tách biệt tài liệu khỏi sự tôn vinh. Việc kiểm duyệt các buổi phát trực tiếp theo thời gian thực là trọng tâm chính sau những thất bại nổi bật. Đồng thời, AI tổng hợp giúp sản xuất nội dung giả mạo sâu và nội dung lạm dụng tổng hợp dễ dàng hơn, do đó, việc phát hiện video do AI tạo và thao túng, cùng với nhãn xuất xứ, đang trở thành trọng tâm của công việc đảm bảo độ tin cậy và an toàn.
Triển khai trong thế giới thực
YouTube tự động phát hiện và giới hạn độ tuổi người xem hoặc xóa hình ảnh bạo lực và ảnh khỏa thân trong các video tải lên
Meta và các nền tảng khác sử dụng cơ sở dữ liệu băm được chia sẻ (thông qua GIFCT) để chặn hoạt động tuyên truyền khủng bố đã biết trên các dịch vụ
TikTok quét các buổi phát trực tiếp gần thời gian thực để làm gián đoạn nội dung khỏa thân hoặc tự làm hại bản thân
Các nền tảng ghi lại âm thanh để ghi lại lời nói căm thù và các mối đe dọa được nói trong video chứ không chỉ hiển thị trực quan
Rủi ro & lan can
Tự động hóa một quy trình bị hỏng có thể khuếch đại các vấn đề hiện có.
Các nhóm có thể tự động hóa quá mức và loại bỏ sự phán xét cần thiết của con người.
Chất lượng có thể thay đổi nếu kết quả đầu ra không được đánh giá liên tục.
Lộ trình thực hiện
Lập sơ đồ quy trình làm việc hiện tại và xác định bước có mức độ ma sát cao nhất.
Xác định các điểm kiểm tra của con người trước khi tự động hóa hoàn toàn.
Đào tạo người dùng về lời nhắc, đường dẫn leo thang và tiêu chuẩn chất lượng.
Theo dõi kết quả ở cấp độ nhiệm vụ để xác nhận giá trị bền vững.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI in Video Content Moderation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
AI trong hành vi của NPC trò chơi điện tử
Câu hỏi thường gặp
What is AI in Video Content Moderation?
AI đánh giá video đã tải lên và phát trực tiếp để phát hiện nội dung có hại như bạo lực, ảnh khoả thân hoặc lời nói căm thù nhanh hơn nhiều so với khả năng của con người. Điều này quan trọng vì các nền tảng nhận được hàng trăm giờ video mỗi phút, khiến việc xem xét thủ công không thể thực hiện được trên quy mô lớn.
Tại sao việc kiểm duyệt video được mô tả là 'đa phương thức'?
Một video kết hợp nhiều loại tín hiệu, do đó, việc kiểm duyệt hiệu quả cần có tầm nhìn, phân tích chuyển động, chuyển lời nói thành văn bản và OCR hoạt động cùng nhau.
Ưu điểm chính của việc băm nhận thức đối với các video có hại đã biết là gì?
Việc băm tạo ra dấu vân tay của nội dung đã biết là xấu để các kết quả trùng khớp được phát hiện ngay lập tức, ngay cả sau những chỉnh sửa nhỏ mà không cần chạy lại phân tích đầy đủ.
Tại sao các nền tảng vẫn gửi nhiều trường hợp đến người đánh giá?
AI phân loại và chấm điểm nội dung, nhưng những trường hợp mơ hồ cần đánh giá về mục đích và bối cảnh sẽ được chuyển đến con người.
Tính năng chuyển giọng nói thành văn bản góp phần kiểm duyệt như thế nào?
Nội dung có hại có thể được nói thay vì hiển thị, vì vậy việc chép âm thanh cho phép các mô hình văn bản nắm bắt được nội dung đó.
Điều gì khiến cho việc băm nhận thức trở nên mạnh mẽ hơn so với việc so khớp bản sao chính xác?
Băm nhận thức được thiết kế để tồn tại trong những thay đổi nhỏ, do đó, người tải lên lại không thể trốn tránh bị phát hiện với những thay đổi nhỏ.