　ディープラーニングでは、多層化したニューラルネットワークの重みと偏りを学習によってより良いもの(出力の誤差が最小となるもの)に変化させます。この際、3つの問題が起こらないように注意する必要があります。それは、勾配消失、局所最適解、過学習の問題です。図は、一番低いところが一番よい状態で、適当なところからボールを転がすように一番よい状態を探すようなイメージのものです。

　勾配消失は、近いところではそこまで結果が変わらない時に、学習が止まってしまうという問題です。人間でいうと、細部までこだわる人はちゃんと学習するけれども、大雑把で細かい違いがわからないとどうでもよくなって学習をやめてしまうような感じです。上達したいなら細部にこだわるのは大事ですね。

　局所最適解は、近い範囲ではそこが最良の状態だけれども、大域的にはもっとよい状態のことです。ここから抜け出せないと学習が止まってしまいます。人間でいうと、視野が狭くて、本当はもっといい状態があるのに、多少ましな状態があるためにそこから抜け出せない感じですね。あまり悲観的にならずに、広い視野を持つといいことがあるかもしれません。

　3つ目が過学習の問題です。これは、学習するためのデータで過剰に学習したために応用が利かなくなり、ちょっと違う入力が入ると急に正当率が悪くなることを言っています。人間でいうと、細かいことにとらわれるよりも、要点を押さえた方が応用が利きますよね。些末なことは適度に忘れるのも大事ですね。

　最後に、学習に関する5つの要素を個人的にまとめます。

●インプット

　情報は単純化した方がインプットしやすいです。また、騒がしかったり机が散らかっていたりして、雑情報が多い方が拡散的な思考ができて新しいアイディアがひらめきやすいですが、雑情報が少ない方が集中できて学習が捗ります。

●位置関係

　各情報の関連性の強さを意識するのは大事です。また、一時的に同時に覚えられる記憶のことをワーキングメモリーと言いますが、このワーキングメモリーを鍛えてから学習すると効率よく学習ができます。

●理解(抽象化)

　単なる暗記で終わることなく、それをまとめることも重要です。例えば、似た情報をまとめてグループ分けするなど、階層構造を意識すると学習が捗ります。過学習のところでも触れましたが、表面的な知識から本質的な要点を抜き出すことで、知識を覚えやすくなるだけでなく、それを覚えることにより応用力が上がります。本質的な要点を抑えて、覚えることはなるだけ減らしましょう。

●アウトプット

　知識は使ってこそ意味があります。使おうとする意識を持つことで、受け身にならず、主体的に楽しく学ぶこともできます。覚えたことは使いましょう。覚えた後で情報を整理するための休憩時間を数分取ったり、忘れかけた知識を思い出そうとしてみたり、なるだけ使うようにしたり、誰かに教えてみたり、まとめてこのブログのように公開してみたりすると生きた知識になるでしょう。

●みんなのため

　私たちは社会の中で生きているので、学んだことが誰かの役に立つと思って勉強した方が、それが報酬となってやる気も出ます。その知識を人の役に立てるところを想像しながら勉強することで、より楽しく学ぶことができるでしょう。

　結局、長期的な目で考える場合には、好奇心を持って続けるということが重要です。好奇心がないと成長が高止まりしてしまうし、続けないとそもそも成長しません。好奇心を持って続けるために、これらのことを意識できるといいですね。

　ということで、今回はディープラーニングを通して人間の学習について見てきました。個人的には、学習に対して気を付けていることが２つあります。できるだけ正しい知識を入れることと、楽しい気持ちで学習することです。変な知識(今回の重みに対応)や嫌な気持ち(今回の偏りに対応)を一度持ってしまうとリセットするのが大変ですよね。今後もこの２つに気を付けていきたいと思います。

2018.11