強化学習とは

まずは強化学習がいかに我々の日々の思考と関連しているかを実感していただくために、“強化学習の考え方”の具体的な事例をご紹介します。

本格的に強化学習の説明に入る前に、まずはAIについて簡単に説明させていただきます。

AIとは、Artificial Intelligenceの略で、日本語では人工知能と訳出されることが多い言葉です。特に近年、ディープラーニング技術が飛躍的な発展を遂げたことにより、社会へ大きなインパクトをもたらす可能性のある技術として、大きく注目されるようになりました。

AI技術は、具体的には機械学習という技術から成り立っています。さらにその機械学習は主に三つの方法に分けることができ、教師あり学習、教師なし学習、強化学習がその構成要素となります。

それでは今回の記事のメインテーマである強化学習について、詳しく説明していきます。

ここでは強化学習の実際の活用事例を紹介します。

強化学習の概要を説明したところで、最後は少し専門的な話に進みます。ここからは強化学習のアルゴリズムについての説明をします。

上述の通り、エージェントの目標は、目先の報酬ではなく、累積的な報酬の総量を最大化することにあります。それを実現するための最適な方策を獲得していくことが、強化学習のアルゴリズムの目的です。

ここでは強化学習を代表的する三つのアルゴリズムである、動的計画法、モンテカルロ法、TD（Temporal Difference：時間的差分学習）法の三つを紹介していきます。

モンテカルロ法：経験を抽象化することで法則を導き出す体当たり型発想

モンテカルロ法は、状態遷移が分からない、つまりある行動の結果としてどのような報酬が得られるか分からない場合に用いられる方法です。

この方法では、とにかくエージェントに何らかの行動を最後までやり抜かせることで、何らかの報酬を獲得し、一つ一つの行動をエピソードとして記録していきます。そして各エピソードの結果得られた報酬をサンプリングしていき、その報酬の平均を計算することにより期待値を求め、それを報酬の値として用いることで学習を進めます。これにより各行動の価値を算出する最適行動価値関数へと行動価値関数を近似させ、方策を評価・改善させていくことで、最適な方策へと近づけていきます。動的計画法において状態価値を重視したのとは違い、モンテカルロ法では行動価値を重視する傾向にあります。これは完全なモデルを前提としない以上、状態価値の算出が困難であるためです。

モンテカルロ法では、最適方策の収束の保証を得るために、エピソードにおける開始点探査と、方策評価を無限個のエピソード群に対して行えるという二点が基本的には仮定されています。開始点探査とは、探査維持を保証するための仮定で、これにより全ての状態行動対が無限回訪問されているとする仮定です。これらの仮定を置けば、もちろん十分な探査が保証されるわけですが、無限回の訪問など、少し非現実的と言わざるを得ないものとなっています。

この課題の解決策として、方策オン型のモンテカルロ法と方策オフ型のモンテカルロ方という代表的な二つの方法があります。

古典的な方策オン型モンテカルロ法では、一定の確率εでエージェントはランダムな行動を取り、それ以外は決められた方策πに従うというルールで行動を制御することで学習が進められます。このランダムに行われた行動によって、行動価値関数、及び方策の更新が行われていくという方法です。この方法では、方策を制御に用いると同時に、方策の価値推定も行うという方法が取られています。

もう一方の方策オフ型モンテカルロ法では、挙動生成を主な機能とする挙動方策と評価・改善される推定方策という二つの方策を用いることで、制御のための方策と価値推定のための方策を分離することで学習が進められていきます。この分離により挙動方策により全ての可能な行動をサンプリングしつつ、決定論的な方策を推定方策として用いることが可能となっている点が特徴的です。

参考文献：Richard S. Sutton , Andrew G.Barto , 三上貞芳 , 皆川雅章（2000）, 強化学習　森北出版

深層強化学習についての説明に入る前に、近年のAIブームの飛躍的な発展を促した深層学習について簡単に説明します。

深層学習（Deep Learning）は、End-To-End Learningと呼ばれることもあるように、機械学習が学習を進めていく上で必要となる特徴量の設定、抽出を、人間による介入なしに行うことができる技術です。これにより既存データの学習・未知データに対する予測における質的な向上を実現するに至りました。

深層学習の技術は、強化学習にも応用され、深層強化学習という分野が生み出されました。深層強化学習では、Q学習をディープニューラルネットワーキングの技術を応用することで編み出されました。

このDQN（Deep Q-Learning）では、入力層に状態sや行動aを、出力層に状態行動価値を設定することで、状態行動価値を算出することが可能となります。予測される状態行動価値と実際の状態行動価値の誤差が小さくなるように学習が進んでいきます。

ここまでの記事で「強化学習」の考え方、AIと強化学習の関係性、３つのアルゴリズム、活用事例など、様々な視点から解説しました。本サイト以外にも「強化学習」を分かりやすく説明しているサイトがあります。記事内容を目的別でカテゴライズしてご紹介させていただきます。

独学で「強化学習」について学習したいと考える方のために、最適な学習動画をいくつかピックアップしご紹介します。AIの手法のひとつ「強化学習」の理解を深めるためには、スキマ時間を有効活用しリスニングをするなどの継続的な学習をお勧めします。

独学で強化学習についてより詳しく学習したいと考える方のために、強化学習の基礎から学べるもの～実践で使える内容までいくつかピックアップしてご紹介します。

この記事では、AIの理解に欠かせない強化学習について解説してきました。身近な例から少し専門的な内容にまで踏み込んだ内容であったため、難しく感じられた方もいらっしゃるかも知れません。もっと勉強してみたいという方のために、今後も学習に役立つコンテンツを多数ご用意していきますので是非引き続きご覧ください。