とは何ですか パラメータ効率の良い微調整 (PEFT)?

ドメイン固有のデータに対するトレーニングを継続して、事前トレーニングされたモデルを特定のタスクに適応させます。

低ランクのアダプター行列を追加する、パラメーター効率の高い微調整方法。

事前トレーニング後に適用されるトレーニング ステップ (命令調整、設定の最適化、安全性調整など)。

命令と応答のペアに基づいてモデルを微調整して、タスクの追跡を改善します。

各更新ステップでパラメータがどの程度変更されるかを制御するトレーニング ハイパーパラメータ。

別の報酬モデルを必要とせずに、好みのペアに基づいてモデルを直接微調整するトレーニング方法。