개요
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
심층 분석
확산 모델은 순수한 노이즈에서 시작하여 반복적으로 노이즈를 제거하여 일관된 그림으로 이미지를 생성합니다. 수년 동안 이러한 노이즈 제거를 수행하는 네트워크는 컨벌루션 아키텍처인 U-Net이었습니다. Peebles와 Xie가 2022년에 출시한 Diffusion Transformer는 U-Net을 Transformer로 대체합니다. 이미지는 먼저 잠재 공간으로 압축되고 작은 패치로 분할되며 각 패치는 언어 모델의 단어와 마찬가지로 토큰이 됩니다. 그런 다음 Transformer는 각 잡음 제거 단계에서 self-attention을 사용하여 이러한 토큰을 처리합니다. 주요 발견은 깨끗한 확장 법칙에 따라 모델 크기를 늘리고 패치 크기를 줄이면 DiT 성능이 예측 가능하게 향상된다는 것입니다. 이러한 확장성은 텍스트-비디오 및 고급 텍스트-이미지 시스템이 대부분 Transformer 백본으로 마이그레이션된 이유입니다.
실제 구현
OpenAI의 Sora는 시공간 패치를 통해 Transformer 백본을 사용하여 텍스트 프롬프트에서 1분 길이의 고화질 비디오를 생성합니다.
Stable Diffusion 3은 MMDiT(Multimodal Diffusion Transformer)를 채택하여 생성된 이미지를 자세한 텍스트 설명과 더 잘 정렬합니다.
연구원들은 DiT를 수십억 개의 매개변수로 확장하고 이미지 품질이 예측 가능하게 향상되는 것을 관찰하여 컴퓨팅 예산 결정을 안내합니다.
스튜디오에서는 DiT 기반 모델을 사용하여 짧은 클립을 확장하고 추가 비디오 프레임을 노이즈 제거를 위한 추가 패치 토큰으로 처리합니다.
확산 변압기의 미래
확산 변환기는 생성 미디어의 기본 백본이 되고 있습니다. 토큰 기반 설계로 인해 하나의 확장 가능한 아키텍처에서 이미지, 비디오, 심지어 다중 모드 생성까지 자연스럽게 통합할 수 있습니다. 많은 토큰의 2차 비용을 줄이기 위해 더 긴 비디오, 더 높은 해상도, 더 효율적인 관심을 향한 연구가 진행되고 있습니다. 유사한 Transformer 스케일링 레시피와 인프라가 두 가지 모두를 지원하는 언어 모델과 비전 모델 간의 수렴을 기대하여 세계 모델과 대화형 비디오의 발전을 가속화합니다.
실천에 옮기기
왜 중요한가요?
- 속도와 규모. Visual AI는 대규모 검사, 감지 및 태그 지정 작업을 자동화할 수 있습니다.
- 빌드 선택. 크리에이티브 팀은 수동 수정 횟수를 줄여 컨셉의 프로토타입을 더 빠르게 제작할 수 있습니다.
- 팀과 워크플로우. 이전에는 처리하기 어려웠던 이미지 및 비디오 신호를 작업에 사용할 수 있습니다.
조심하세요
- 출처가 불분명할 경우 이미지 권리 및 동의는 법적 위험이 될 수 있습니다.
- 모델 성능은 조명, 인구통계, 환경에 따라 달라질 수 있습니다.
- 신뢰도 임계값을 모니터링하지 않으면 거짓양성이 발견되지 않을 수 있습니다.
다음 단계
- 정밀도, 재현율, 오류 비용에 대한 허용 기준을 정의합니다.
- 실제 생산 조건과 일치하는 데이터로 테스트합니다.
- 신뢰도가 낮거나 영향력이 큰 예측에 대해 인적 검토를 추가합니다.
- 모델 드리프트를 추적하고 카메라 또는 데이터 세트가 변경된 후 재검증합니다.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Take the Diffusion Transformers quiz
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
What is Diffusion Transformers?
DiT(확산 변환기)는 이미지 및 비디오 생성기의 중심에 있는 컨벌루션 U-Net을 Transformer 백본으로 교체합니다. 이 아키텍처는 Stable Diffusion 3 및 OpenAI의 Sora와 같은 주요 시스템을 지원하며 컴퓨팅을 추가함에 따라 확장성이 뛰어납니다.
기존 확산 모델과 비교하여 확산 변환기는 어떤 구성 요소를 대체합니까?
DiT는 잡음 제거를 수행한 컨벌루션 네트워크인 U-Net을 Transformer 백본으로 대체합니다.
DiT는 어떻게 이미지를 Transformer가 처리할 수 있는 것으로 변환합니까?
잠재 이미지는 작은 패치로 나누어지고, 각 패치는 언어 모델의 단어와 유사한 토큰이 됩니다.
원래 DiT 논문에서는 스케일링에 관해 무엇을 발견했습니까?
확장 법칙에 따라 모델 컴퓨팅을 늘리고 더 작은 패치를 사용하면 DiT 품질이 깨끗하고 예측 가능한 방식으로 향상됩니다.
DiT는 일반적으로 시간 단계 및 텍스트 프롬프트와 같은 조건을 어떻게 주입합니까?
DiT는 적응형 레이어 정규화를 사용하여 컨디셔닝 신호에서 정규화 레이어에 대한 스케일 및 이동 매개변수를 예측합니다.
'adaLN-zero' 초기화는 무엇을 달성합니까?
adaLN-zero는 변조를 초기화하여 각 블록이 초기에 ID 역할을 하여 훈련을 안정화하고 향상시킵니다.