확산 변압기
DiT(확산 변환기)는 이미지 및 비디오 생성기의 중심에 있는 컨벌루션 U-Net을 Transformer 백본으로 교체합니다.
개요
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
심층 분석
확산 모델은 순수한 노이즈에서 시작하여 반복적으로 노이즈를 제거하여 일관된 그림으로 이미지를 생성합니다. 수년 동안 이러한 노이즈 제거를 수행하는 네트워크는 컨벌루션 아키텍처인 U-Net이었습니다. Peebles와 Xie가 2022년에 출시한 Diffusion Transformer는 U-Net을 Transformer로 대체합니다. 이미지는 먼저 잠재 공간으로 압축되고 작은 패치로 분할되며 각 패치는 언어 모델의 단어와 마찬가지로 토큰이 됩니다. 그런 다음 Transformer는 각 잡음 제거 단계에서 self-attention을 사용하여 이러한 토큰을 처리합니다. 주요 발견은 깨끗한 확장 법칙에 따라 모델 크기를 늘리고 패치 크기를 줄이면 DiT 성능이 예측 가능하게 향상된다는 것입니다. 이러한 확장성은 텍스트-비디오 및 고급 텍스트-이미지 시스템이 대부분 Transformer 백본으로 마이그레이션된 이유입니다.
기술적 통찰력
핵심 혁신은 DiT가 시간 단계 및 텍스트 프롬프트와 같은 조건을 주입하는 방법입니다. 단순한 연결 대신 적응형 레이어 정규화(adaLN)를 사용합니다. 여기서 네트워크는 조정 신호에서 정규화 레이어에 대한 스케일 및 이동 매개변수를 예측합니다. adaLN-zero 변형은 이를 초기화하여 각 블록이 항등 함수로 시작하여 훈련을 안정화합니다. 패치는 토큰으로 평면화되고 self-attention이 포함된 표준 Transformer 블록에 의해 처리된 다음 다시 조립되어 픽셀로 디코딩됩니다.
전략적 영향
속도와 규모
Visual AI는 대규모 검사, 감지 및 태그 지정 작업을 자동화할 수 있습니다.
빌드 선택
크리에이티브 팀은 수동 수정 횟수를 줄여 컨셉의 프로토타입을 더 빠르게 제작할 수 있습니다.
팀과 워크플로우
이전에는 처리하기 어려웠던 이미지 및 비디오 신호를 작업에 사용할 수 있습니다.
확산 변압기의 미래
확산 변환기는 생성 미디어의 기본 백본이 되고 있습니다. 토큰 기반 설계로 인해 하나의 확장 가능한 아키텍처에서 이미지, 비디오, 심지어 다중 모드 생성까지 자연스럽게 통합할 수 있습니다. 많은 토큰의 2차 비용을 줄이기 위해 더 긴 비디오, 더 높은 해상도, 더 효율적인 관심을 향한 연구가 진행되고 있습니다. 유사한 Transformer 스케일링 레시피와 인프라가 두 가지 모두를 지원하는 언어 모델과 비전 모델 간의 수렴을 기대하여 세계 모델과 대화형 비디오의 발전을 가속화합니다.
실제 구현
OpenAI의 Sora는 시공간 패치를 통해 Transformer 백본을 사용하여 텍스트 프롬프트에서 1분 길이의 고화질 비디오를 생성합니다.
Stable Diffusion 3은 MMDiT(Multimodal Diffusion Transformer)를 채택하여 생성된 이미지를 자세한 텍스트 설명과 더 잘 정렬합니다.
연구원들은 DiT를 수십억 개의 매개변수로 확장하고 이미지 품질이 예측 가능하게 향상되는 것을 관찰하여 컴퓨팅 예산 결정을 안내합니다.
스튜디오에서는 DiT 기반 모델을 사용하여 짧은 클립을 확장하고 추가 비디오 프레임을 노이즈 제거를 위한 추가 패치 토큰으로 처리합니다.
위험 및 가드레일
출처가 불분명할 경우 이미지 권리 및 동의는 법적 위험이 될 수 있습니다.
모델 성능은 조명, 인구통계, 환경에 따라 달라질 수 있습니다.
신뢰도 임계값을 모니터링하지 않으면 거짓양성이 발견되지 않을 수 있습니다.
구현 로드맵
정밀도, 재현율, 오류 비용에 대한 허용 기준을 정의합니다.
실제 생산 조건과 일치하는 데이터로 테스트합니다.
신뢰도가 낮거나 영향력이 큰 예측에 대해 인적 검토를 추가합니다.
모델 드리프트를 추적하고 카메라 또는 데이터 세트가 변경된 후 재검증합니다.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
공간 변환기 네트워크
자주 묻는 질문
What is Diffusion Transformers?
DiT(확산 변환기)는 이미지 및 비디오 생성기의 중심에 있는 컨벌루션 U-Net을 Transformer 백본으로 교체합니다. 이 아키텍처는 Stable Diffusion 3 및 OpenAI의 Sora와 같은 주요 시스템을 지원하며 컴퓨팅을 추가함에 따라 확장성이 뛰어납니다.
기존 확산 모델과 비교하여 확산 변환기는 어떤 구성 요소를 대체합니까?
DiT는 잡음 제거를 수행한 컨벌루션 네트워크인 U-Net을 Transformer 백본으로 대체합니다.
DiT는 어떻게 이미지를 Transformer가 처리할 수 있는 것으로 변환합니까?
잠재 이미지는 작은 패치로 나누어지고, 각 패치는 언어 모델의 단어와 유사한 토큰이 됩니다.
원래 DiT 논문에서는 스케일링에 관해 무엇을 발견했습니까?
확장 법칙에 따라 모델 컴퓨팅을 늘리고 더 작은 패치를 사용하면 DiT 품질이 깨끗하고 예측 가능한 방식으로 향상됩니다.
DiT는 일반적으로 시간 단계 및 텍스트 프롬프트와 같은 조건을 어떻게 주입합니까?
DiT는 적응형 레이어 정규화를 사용하여 컨디셔닝 신호에서 정규화 레이어에 대한 스케일 및 이동 매개변수를 예측합니다.
'adaLN-zero' 초기화는 무엇을 달성합니까?
adaLN-zero는 변조를 초기화하여 각 블록이 초기에 ID 역할을 하여 훈련을 안정화하고 향상시킵니다.