モデルの折りたたみ

ジェネレーターは、トレーニング分布のパターンを近似します。後のモデルが主にその近似からのサンプルに基づいてトレーニングされる場合、エラーやまれなケースの欠落が伝播する可能性があります。プロセスを繰り返すと、モデルが表す内容を絞り込むことができます。 2024 年の Nature 研究では、いくつかのモデルファミリーにわたってこの挙動を調査しています。トレーニングの設定が重要です。元のデータを生成された出力で置き換えることは、選択した合成サンプルを追加しながら個別に収集したデータを保持することとは異なります。フィルタリング、サンプリング、目的、評価は結果に影響を与える可能性があります。すべての合成データ戦略を 1 つの実験として扱うことは避けてください。トレーニング資料の出所と生成プロセスを記録します。評価対象のモデルによって再生成されない、独立して調達された評価セットを保持します。カバレッジの損失は平均によって隠蔽される可能性があるため、まれなカテゴリと多様性、および一般的なケースの精度を測定します。合成拡張をテストするときは、実際のデータのベースライン、提案された混合物、および同じ予算内で関連する代替案を比較します。どの状態が改善または悪化したかを報告します。有用な結論は、すべての AI システムの避けられない運命を予測するのではなく、テストされたセットアップと不確実性を説明します。