テクニカルガイド
強化学習
強化学習は、エージェントがその結果に関するフィードバックを使用してアクションを選択できるように訓練します。
このガイドを聴くAIによるナレーション · ~2 min
概要
エージェントは環境と対話し、累積報酬目標を改善しようとします。報酬は意図されたシグナルであり、人々が望む行動を不完全に表現しているだけかもしれません。
主なポイント
- アクションは将来の観察に影響を与えます。
- 報酬のデザインは、意図しないインセンティブを生み出す可能性があります。
- 1 つの環境を超えた探索とテストを制限します。
ディープダイブ
エージェントは状態または観察を観察し、ポリシーに従ってアクションを選択し、フィードバックを受け取ります。アクションは、後で遭遇する状況を変える可能性があるため、このタスクは独立したラベルを予測することとは異なります。一連のインタラクションは、1 つのゲームや 1 つの模擬旅行などのエピソードを形成する場合があります。探索では、アクションを試してその結果を学びます。搾取では、エージェントが学習したことを利用して報酬を追求します。実際の導入では、間違いが人員、機器、予算に影響を与える可能性がある場合、探索を制限する必要があります。シミュレーションは多くの場合役立ちますが、シミュレーション内での成功は、シミュレーション外で失敗する仮定に依存する場合があります。報酬の遅れは、信用の割り当ての問題を引き起こします。以前のどの行動が結果に役立ったのか、それとも悪影響を及ぼしたのか?アルゴリズムは、経験を使用して値を推定したり、ポリシーを直接改善したりします。観察、行動空間、報酬、期間の選択は、アルゴリズム名と同じくらい重要になる場合があります。ポリシーが報酬の抜け穴を悪用していないかどうかをテストします。サポート エージェントがチケットをクローズすることで報酬を獲得した場合、未解決のリクエストをクローズする可能性があります。タスクの完了と許容できない結果を直接チェックすることを含めます。さまざまな開始条件でのパフォーマンスを比較し、経験値収集のコストを報告します。
04作業例
割引収益を計算する
考案された 3 ステップのエピソードでは、報酬は 2、0、5 です。割引係数 0.9 を使用すると、最初のステップからの収益は 2 + 0.9 × 0 + 0.9² × 5 になります。
結果は6.05です。割引なしの場合、合計は 7 になります。
報酬の定義や期間を変更すると、同じ環境であっても、どのポリシーが優先されるかが変わる可能性があります。
それが示すもの
この算術例は目的を説明しています。それは測定された強化学習の結果ではありません。
現実世界の実装
明確に定義された安全なアクションを使用して、シミュレーターでポリシーをトレーニングします。
評価の前提が擁護可能な場合は、記録された結果を使用してアクション ポリシーを比較します。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
出典とさらなる参考文献
- MIT Press; Richard S. Sutton and Andrew G. Barto強化学習: はじめに
探検を続けましょう
よくある質問
報酬は人間の承認と同じですか?
必ずしもそうとは限りません。報酬は、数値的な測定値、結果、またはフィードバックの代用となる場合があります。意図された目標との関連性を評価する必要があります。