Parti 経路の自己回帰イメージング
Parti (Pathways Autoregressive Text-to-Image) は、言語モデルが文章を書くのと同じ方法で画像を生成します。一度に 1 つの画像トークンを作成し、前に出現したすべての画像トークンから次の画像トークンを予測します。
概要
It matters because it showed that simply scaling a sequence model can produce strikingly detailed, prompt-faithful images.
ディープダイブ
Parti は、画像生成を、機械翻訳と同様に、シーケンスからシーケンスへの変換問題として扱います。 ViT-VQGAN トークナイザーは、まず画像を、学習されたコードブックから抽出された一連の離散トークンにエンコードします。 Transformer エンコーダーはテキスト プロンプトを読み取り、Transformer デコーダーは画像トークンを自己回帰的に生成します。それぞれのトークンはテキストと以前に発行されたトークンに基づいて条件付けされます。すべてのトークンが生成された後、トークナイザーのデコーダーがピクセルを再構築します。 Google は Parti パラメータを 3 億 5,000 万から最大 200 億に拡張し、画像品質とテキストの配置はサイズに応じて着実に向上しました。 20B モデルは、長い構成的なプロンプトを処理し、読みやすいテキストをレンダリングし、細部を尊重しました。 Parti はまた、多くのカテゴリと難易度にまたがる 1,600 を超えるやりがいのあるプロンプトのセットである PartiPrompts ベンチマークも導入しました。
技術的な洞察
特徴的な機能は、離散ビジュアル トークンに対する純粋な自己回帰です。このモデルは、条件付きの次のトークンの確率の積として画像を因数分解します。これは、GPT スタイルのテキスト生成と精神的には同じです。これにより、視覚と言語が 1 つのトレーニング レシピに統合され、数十年にわたるシーケンス モデリングのトリックを継承できるようになります。トークンを順番に生成する必要があるため、逐次デコードのコストがかかり、並列アプローチよりも生成が遅くなりますが、予測どおりに拡張でき、大規模なモデルから直接メリットが得られます。
戦略的影響
速度とスケール
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
ビルドの選択
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
チームとワークフロー
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
Parti 経路の将来 自己回帰イメージング
自己回帰イメージングは、同じバックボーンでテキスト、画像、オーディオ、ビデオを 1 つのトークン ストリームとしてモデル化でき、真に統合されたマルチモーダル モデルが可能になるため、復活を遂げています。研究では、投機的デコード、並列トークン予測、およびより優れたトークナイザーを使用して、その主な弱点である遅い順次サンプリングに取り組んでいます。読み取り、推論、画像生成をインターリーブする一般的なアシスタント内の自己回帰コアが期待され、スケーリングの法則により構成の精度と信頼性の高い画像内テキスト レンダリングがさらに向上することが期待されます。
現実世界の実装
動物、オブジェクト、背景の特定の配置など、長い説明プロンプトから複雑なマルチオブジェクト シーンをレンダリングします。
読みやすい文字や記号を含む画像を生成します。自己回帰順序付けにより、テキストの綴りを正しく行うことができます。
世界の知識や抽象概念などのカテゴリにわたる PartiPrompts スイートを使用した、テキストから画像へのシステムのベンチマークとストレス テスト。
正確なカウントと多くの要素間の空間的関係を必要とするプロンプト用の詳細なイラストを作成します。
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
実際の生産条件に一致するデータを使用してテストします。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Parti Pathways Autoregressive Imaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
自己回帰画像生成
よくある質問
What is Parti Pathways Autoregressive Imaging?
Parti (Pathways Autoregressive Text-to-Image) は、言語モデルが文章を書くのと同じ方法で画像を生成します。一度に 1 つの画像トークンを作成し、前に出現したすべての画像トークンから次の画像トークンを予測します。これが重要なのは、シーケンス モデルを単純にスケーリングするだけで、驚くほど詳細でプロンプトに忠実な画像を生成できることが示されたからです。
Parti はどのように画像を生成するのでしょうか?
Parti は自己回帰的です。各イメージ トークンがテキストと以前に生成されたトークンに基づいて条件付けされて、順番に生成されます。
Parti はテキストから画像へのタスクにどのような全体的なフレームを使用しますか?
Parti は生成を機械翻訳のように扱います。つまり、エンコーダーがテキストを読み取り、デコーダーが画像トークンを出力するという、古典的なシーケンス間のセットアップです。
Parti を 200 億パラメータまで拡張することで何が実証されたでしょうか?
Parti のパラメータが 350M から 20B に増加するにつれて、構成プロンプトや読みやすいテキストが改善されるなど、忠実度とプロンプトの忠実性の両方が向上しました。
画像を Parti の個別のトークンに変換するものは何ですか?
Parti は、ViT-VQGAN を使用して画像を離散トークンのシーケンスにエンコードし、Transformer デコーダーが予測を学習します。
Parti の自己回帰デコードの主な欠点は何ですか?
各トークンは前のトークンに依存するため、生成は順次行われ、並列方式よりも遅くなりますが、予測どおりに拡張できます。