カテゴリー: Tensorflow

1. はじめに
2. 活性化関数
3. 中間層の次数
4. 最適化関数
5. 損失関数

はじめに

前回のXORを学習させるコードをもとに色々パラメータを変えて実験してみた。数式レベルで理解しているのは極一部のため、数式は載せていない。また、学習させる内容によって関数を選択する必要があるようなのでXORで良い成績を出せれたからといって他の問題に適用するのは良くない模様。

活性化関数

活性化関数を色々試してみたが、sigmoid関数以外は全く学習しなかった。

中間層の次数

中間層（隠れ層）の次数を変えて学習成功率と成功した場合の学習回数の平均を調べてみた。2次では学習の失敗率が高いが、３・４次で成功率が上がった。３次と４次では成功率は同じ、学習回数は４次が若干少ない。このXORを学習させるためには次数が３～４次、つまり入力層の次数の1.5～2倍にすれば良いというのがわかった。しかし、実際の問題を解くときに入力層の次数の1.5～2倍で良いのかは不明。中間層の次数について、本とWebページをあたったが、実装者の経験則で決められていることが多いよう。

次数	学習成功率	学習回数
2	59%	9930
3	87%	9574
4	87%	8810

最適化関数

中間層の次数は３次にして、最適化関数を変えて学習成功率と成功した場合の学習回数の平均を調べてみた。学習率はすべて0.2で行っている。RMSpropが学習回数が少ない（収束が早い）が学習の成功率が若干悪い。Adam, Adamax, Nadam等の

最適化関数	学習成功率	学習回数
SDG	87%	9574
Adadelta	91%	4430
Adagrad	84%	4431
Adam	71%	709
Adamax	77%	1560
Nadam	89%	790
RMSprop	79%	224

損失関数

中間層の次数は３次、最適化関数はNadamにして、損失関数を変えて学習成功率と成功した場合の学習回数の平均を調べてみた。 損失関数は変えると全然学習しないものがかなりあるので、学習回数があまりに少ないものについては、学習回数を調べなかった。LogCoshと MeanSquaredLogarithmicError が良い成績をだしている。

損失関数	成功率	学習回数
BinaryCrossentropy	89%	790
CategoricalHinge	32%	–
Hinge	33%	–
Huber	85%	308
KLDivergence	0%	–
LogCosh	87%	243
MeanAbsoluteError	24%	–
MeanAbsolutePercentageError	0%	–
MeanSquaredError	89%	332
MeanSquaredLogarithmicError	91%	299
Poisson	78%	470
SquaredHinge	17%	–

1. はじめに
2. ソースコード
3. ソースコード解説
4. 学習したモデルを読み込む

はじめに

TensorFlowの動作実験をする。Pythonを使うのは初めてなので書き方が変なところがあるかもしれない。TensorFlow(Keras)の実験が主なので、ニューラルネットワークが何なのかわからない人はほかのページや文献を当たって欲しい。

実験内容は以下の通り。

• 3層ニューラルネットワーク（ディープラーニングではない）
• 学習対象はXOR

ソースコード

できあがったソースコードは以下の通り。

ソースコード解説

5-7行目
３層ニューラルネットワークモデルの定義。
入力層の定義が無く、中間層と出力層の２つだけ定義してある。なぜ入力層の定義が存在しないかはまだわかっていない。
層（レイヤー）の定義がDenseだと全結合になる。Denseの第１引数は次数、引数activationには活性化関数を指定する。中間層は入力層の次数と同じ、出力層の次数はXORの場合は１次となる。活性化関数はシグモイド関数を利用。

9-11行目
optimizerで最適化関数を定義する。SGDというのは確率的勾配降下法(Stochastic Gradient Descent)を意味する。大学生のときは最急降下法というのを使っていた。この確率的勾配降下法は最急降下法の改良版らしい。SDGの第１引数は学習率を設定する。引数なしだと学習率0.01になるため学習が遅くなる。
lossで損失関数をする。BinaryCrossentropyというのは、交差エントロピー誤差関数を意味する。
compileで定義した最適化関数と損失関数を設定する。compileとなっているので内部で本当にコンパイルしているかもしれない。

13-14行目
学習データの定義。
xが入力データで、yが出力データ。
[0,0] -> [0], [0,1] -> [1], [1,0] -> [1], [1,1] ->[0]
となるように設定している。

15行目
学習を早期終了するためのコールバック関数。
引数monitorで監視する変数、引数min_deltaで最小変化量、引数patienceで連続回数、引数modeで上回ったか・下回ったかを設定する。
ドキュメントでは引数monitorにval_lossを指定するようになっていたが、val_lossを指定すると文句言われたためlossにしてある。
この設定だと、lossの値が、0.0001以下の変化量で、5回連続した場合、早期終了するようになっている。
lossの値が0.001を下回った場合終了という設定にしたかったができなかった。

16行目
学習。
引数epochsに繰り返し学習させる回数、verboseにログ出力の状態を指定する。 verboseは、0でログ出力なし、1で epochごとに プログレスバー出力、２でepochごとに出力になる。 epochsは十分な回数ということで30000を指定してあるが、実際には早期終了になるパターンがほとんどである。

18行目
学習したニューラルネットワークモデルの保存。zドライブ直下にtensorflowtestというファイル名で保存している。

20-23行目
学習した結果の実行。
実行すると以下のように出力される。
[[0.00947068]]
[[0.9870682]]
[[0.99154484]]
[[0.00799964]]
大体あっている数値が出力されている。
学習回数だが、 7043回目で終了している。何回か実行してみたところ 5000-10000くらいで早期終了している。

学習したモデルを読み込む

毎回学習するわけではないので、保存した学習済みニューラルネットワークモデルを読み込むで利用するプログラムも作成した。ソースコードは下記の通り。簡単なので解説なし。