とは何ですか QLoRA?

低ランクのアダプター行列を追加する、パラメーター効率の高い微調整方法。

モデルの重みを 8 ビットや 4 ビットなどの低精度形式に変換します。

ドメイン固有のデータに対するトレーニングを継続して、事前トレーニングされたモデルを特定のタスクに適応させます。

命令と応答のペアに基づいてモデルを微調整して、タスクの追跡を改善します。

モデルの重みの数値精度を下げて、メモリと推論のコストを削減します。

追加されたパラメーターの小さなサブセットをトレーニングすることでモデルを適応させる方法。