다중 조건 확산 제어를 위한 T2I 어댑터

텍스트 프롬프트만으로는 정확한 구성을 안정적으로 지시할 수 없으므로 2023년에 도입된 T2I-Adapter는 Stable Diffusion과 같은 고정 확산 모델에 구조적 조건을 주입하는 훈련 가능한 작은 네트워크를 추가합니다. Canny 가장자리 맵, 깊이 맵, 인간 포즈 뼈대, 분할 마스크 또는 대략적인 스케치와 같은 조건 맵을 제공하면 어댑터는 텍스트 프롬프트가 여전히 콘텐츠와 스타일을 제어하는 ​​동안 해당 구조와 일치하도록 세대를 조정합니다. ControlNet에 비해 T2I-Adapter는 전체 네트워크를 복사하는 대신 기능을 한 번 추출하여 모델의 인코더에 추가하기 때문에 수억 개가 아닌 약 7,700만 개의 매개변수로 훨씬 더 가볍습니다. 포즈와 깊이 등 여러 어댑터를 결합하여 풍부하고 제어 가능한 장면을 구성할 수 있으며, 기본 모델은 그대로 유지되므로 하나의 모델이 여러 조건 유형 간에 전환될 수 있습니다.