External Memory

プログラミング周辺知識の備忘録メイン

Neural Network Options

Batch Normalizationを試す

ResNetで出てきたBatch Normalization(BN)は学習速度が速くなるなら すぐにでも導入したほうが効率が良いと考え検証した。 Batch Normalization ResNetとBatch Normalization - External Memory 検証で使ったネットワークはconv2層(+max pooling2)+FC(FullyC…

ResNetとBatch Normalization

ResNet2 (https://arxiv.org/pdf/1603.05027.pdf)前回のResNet(https://arxiv.org/abs/1512.03385)の同じ著者による考察、改善バージョン。全体的な構造はほとんど変わっていないが、Residual unit部分の構造に活性化関数層とconv層の順番に変更が見られる。…

活性化関数ReLUとその類似関数

ニューラルネットワークにおいて、活性化関数ReLUはよく用いられている。 シグモイド関数とは違って、ReLUのような区分線形な関数はその形状から、 逆伝播時の勾配消失問題を回避することができる。 また、線形ニューラルネットワークと比較して、複雑な識別…

ドロップアウトにおける過学習抑止と学習精度のためのkeep率の設定

ニューラルネットワークを用いた機械学習において、 ドロップアウトは汎用性、つまり学習用データの正答率とテストデータの正答率のギャップを埋めるためのものであり、ニューラルネットワークそのものの学習精度を向上させるものとは言い切れない。テストデ…

ソフトマックス関数とシグモイド関数でのクロスエントロピー誤差関数について

Neural networks and deep learningの前半辺りを読んだときソフトマックス関数の時のクロスエントロピーではどうなるか 気になったので、数式を少しいじって調べシグモイド関数の場合と比較した。 クロスエントロピー誤差関数はそれぞれの活性化関数によって…

Adadelta Optimizerについて

AdadeltaはAdagradの弱点を改善したアルゴリズムということで、試した。Adadeltaは以下のようにして、最小値を得る。 以下で出てくる、 と はそれぞれ減衰係数を含んだ0-nまでの勾配とパラメータ更新の際の差の二乗和である。 inital parameter : を設定。 …

Gradient descent optimizerとAdagrad optimizer

先日のTensorFlowで最適化法について知識があまりなかったので少しだけ調べた。 Gradient descent optimizerとAdagrad optimizer 先日使ったoptimaizerはGradient descentとAdagrad。 これらは次元ごとに分離して最小値が得られる。最急降下法は以下の数列が…