Tiếp theoHướng dẫn tiếp theo
AI Eye Contact Correction cho video
AI trực quan
HƯỚNG DẪN AI trực quan
Chuyển đổi phong cách video thành video sử dụng AI, thường là mô hình khuếch tán, để mang đến cho cảnh quay hiện có một diện mạo mới, chẳng hạn như phim hoạt hình, hoạt hình đất sét hoặc sơn dầu, trong khi vẫn giữ nguyên chuyển động, thời gian và bố cục ban đầu.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Điều này quan trọng vì nó cho phép người sáng tạo sử dụng lại các màn trình diễn thực tế và hoạt động của máy ảnh theo phong cách hình ảnh mới. Nó cũng đặt ra các câu hỏi về sự đồng ý và bản quyền khi đoạn phim nguồn hiển thị người thật hoặc thuộc về người khác.
Hầu hết các quy trình chuyển video sang video đều có hai bước. Đầu tiên, họ trích xuất cấu trúc từ video nguồn: bản đồ độ sâu từ các mô hình như MiDaS hoặc Depth Anything, bản đồ cạnh hoặc đường, bộ xương tư thế con người từ các công cụ như OpenPose và đôi khi là luồng quang học ghi lại cách các pixel di chuyển giữa các khung hình. Sau đó, họ tạo ra các khung hình mới dựa trên cấu trúc đó cộng với dấu nhắc kiểu hoặc hình ảnh tham chiếu. ControlNet, được giới thiệu vào năm 2023, đã biến điều này thành hiện thực cho Stable Diffusion bằng cách cho phép tạo bản đồ độ sâu hoặc bộ xương định hướng mà không cần đào tạo lại mô hình cơ sở. Cài đặt chính thường là cường độ biến đổi hoặc khử nhiễu. Khung nguồn bị nhiễu một phần và sau đó được khử nhiễu theo kiểu mới. Độ bền thấp vẫn gần với bản gốc nhưng ít thay đổi. Cường độ cao mang lại phong cách táo bạo hơn, nhưng đầu ra bắt đầu trôi khỏi nguồn và nhấp nháy giữa các khung hình. Điều hòa độ sâu giữ bố cục phòng và vị trí đối tượng. Điều hòa tư thế giữ cho con người chuyển động. Bản đồ cạnh giữ đường viền tốt. Có ba cách tiếp cận rộng rãi. Khuếch tán trên mỗi khung hình với ControlNet dựa vào các hạt giống được chia sẻ và sự chú ý giữa các khung hình để hạn chế hiện tượng nhấp nháy. Các phương thức khung hình chính định kiểu lại một số khung một cách cẩn thận và truyền giao diện đó cho các khung còn lại, giống như EbSynth thực hiện với việc truyền bá dựa trên bản vá. Các phương pháp nghiên cứu như Rerender-A-Video và TokenFlow còn đẩy mạnh hơn nữa theo hướng đó. Các mô hình video gốc chấp nhận video đầu vào mà Gen-1 của Runway cung cấp vào năm 2023, xử lý thời gian bên trong mô hình. Một quan niệm sai lầm phổ biến là việc tái cấu trúc sẽ ẩn danh mọi người hoặc biến cảnh quay thành tác phẩm mới, có thể sử dụng miễn phí. Nó không tự động. Dáng đi, hình dáng cơ thể, giọng nói và bối cảnh thường vẫn có thể nhận dạng được, các quyền về chân dung và công khai vẫn có thể được áp dụng và cảnh quay cơ bản vẫn giữ bản quyền. Sử dụng có trách nhiệm có nghĩa là quay phim tài liệu của riêng bạn hoặc xin phép và tiết lộ rằng cảnh quay đó đã được chuyển đổi.
Một nhà làm phim độc lập quay các diễn viên trong một gara và chuyển cảnh quay thành khung cảnh giả tưởng được vẽ bằng cách sử dụng bản đồ chiều sâu để các bức tường, bàn và cửa giữ nguyên hình dạng trong mọi khung hình.
Người tạo điệu nhảy trích xuất các bộ xương tạo dáng từ một thói quen và tạo ra một nhân vật hoạt hình thực hiện cùng một vũ đạo với cùng thời gian.
Một đại lý nhỏ biến đổi cảnh quay sản phẩm trên điện thoại thông minh thành dạng giấy thủ công bằng công cụ chuyển đổi video thành video thương mại, giảm cường độ chuyển đổi để hình dạng và biểu tượng của sản phẩm vẫn có thể đọc được.
Ai đó đã biến clip lan truyền của một người lạ thành phim hoạt hình và đăng lại. Cơ thể, giọng nói và cử chỉ của người đó vẫn có thể nhận dạng được và bản quyền của người tải lên ban đầu vẫn chưa mất đi.
Các mô hình chỉnh sửa gốc video lấy clip nguồn và trực tiếp tuân theo cấu trúc cũng như chuyển động đang thay thế các quy trình trên mỗi khung hình được tạo thủ công trong nhiều công cụ. Các lĩnh vực có khả năng cải thiện là những chiếc kẹp dài hơn, bảo quản khuôn mặt và bàn tay tốt hơn cũng như kiểm soát tốt hơn những vùng thay đổi. Về mặt sử dụng có trách nhiệm, các tiêu chuẩn xuất xứ như Thông tin xác thực nội dung C2PA, quy tắc ghi nhãn nền tảng và yêu cầu chấp thuận đối với chân dung người thật đang trở nên phù hợp hơn. Vẫn chưa rõ các công cụ sẽ thực thi sự đồng ý một cách nhất quán như thế nào và các nền tảng cũng như khu vực pháp lý khác nhau có thể xử lý nó theo cách khác nhau.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Chuyển đổi phong cách video thành video sử dụng AI, thường là mô hình khuếch tán, để mang đến cho cảnh quay hiện có một diện mạo mới, chẳng hạn như phim hoạt hình, hoạt hình đất sét hoặc sơn dầu, trong khi vẫn giữ nguyên chuyển động, thời gian và bố cục ban đầu. Điều này quan trọng vì nó cho phép người sáng tạo tái sử dụng các màn trình diễn thực tế và hoạt động của máy ảnh theo phong cách hình ảnh mới. Nó cũng đặt ra các câu hỏi về sự đồng ý và bản quyền khi đoạn phim nguồn hiển thị người thật hoặc thuộc về người khác.
Trước tiên, các đường ống nắm bắt cấu trúc của nguồn để thế hệ đó có thể tuân theo bố cục và chuyển động của nó trong khi thay đổi kiểu.
ControlNet bổ sung một lộ trình điều hòa để các đầu vào cấu trúc như chiều sâu hoặc khung tư thế hướng dẫn đầu ra của mô hình hiện có.
Cường độ cao hơn sẽ tạo ra tiếng ồn cho nguồn nhiều hơn, giúp mô hình có nhiều tự do hơn. Điều đó có nghĩa là có nhiều phong cách hơn nhưng kém trung thực hơn và có nhiều sự không nhất quán giữa các khung hình.
Các bộ xương tạo dáng nắm bắt các vị trí khớp theo thời gian nên chúng trực tiếp bảo toàn chuyển động của con người.
Quá trình truyền khung hình chính sẽ định kiểu lại một số khung hình một cách cẩn thận và sau đó mang diện mạo đó đến phần còn lại của clip.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
AI Eye Contact Correction cho video
AI trực quan