2017年08月12日

時々基本に戻って基本事項を再確認しておきましょう・・・ディープラーニングとニューラルネットワークとの関係

storage.mantan-web.jp_images_2017_05_21_20170521dog00m200017000c_001_size8.jpg

deeplearning1.jpg

いまこの本を学習しています。自分への覚書きとしてこのブログで理解できた(と思っている)箇所を逐次ご紹介しています。

ところが、往々にして自分がいま何を学習しているのか分からなくなることがあります。

そういう時は基本に戻るのが一番です。

再度ディープラーニングとニューラルネットワークとの関係を確認しておきます。

<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
ディープラーニングとニューラルネットワークとの関係ですが、本には次のように書いてあります。

  ディープラーニングは、層を深くしたディープなニューラルネットワークです。

さて、ここでニューラルネットワークの学習の手順を確認しておきます。

(前提)ニューラルネットワークは、適応可能な重みとバイアスがあり、その重みとバイアスを訓練データに適応するように調整することを学習と呼ぶ。ニューラルネットワークの学習は次の4つの手順で行う。

〔ステップ1(ミニバッチ)〕
訓練データの中からランダムに一部のデータを選び出す。その選ばれたデータをミニバッチと言い、ここでは、そのミニバッチの損失関数の値を減らすことを目的とする。

〔ステップ2(勾配の算出)〕
ミニバッチの損失関数を減らすために、各重みパラメータの勾配を求める。勾配は、損失関数の値を最も減らす方向を示す。

〔ステップ3(パラメータの更新)〕
重みパラメータを勾配方向に最小量だけ更新する。

〔ステップ4(繰り返す)〕
ステップ1、ステップ2、ステップ3を繰り返す。
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

上記の本で学習しようとしていることはこれだけです。

細かいテクニック的なことがたくさん書いてあるので少し混乱しますが、本質はこれだけです。

ですから、それほど難しいことは書いてないのです。

もしも、上記の本を学習されている方で途中で分からなくなったらこの基本を思い出されるといいと思います。



posted by tsurutsuru at 03:48| Comment(0) | 日常茶飯事
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント: