受講期限が迫ってきているので、ペースアップして講義聴講と講義に付随するコーディング演習を終えました。後半の内容は、前半で学んだ基礎の応用になり、細かい部分はある程度割り切った説明になるため、その点では理解しやすい部分もあります。その分、前半の内容はある程度きちんと理解しておく必要があります。コーディング演習についても、前半より後半の方が早く解き終えることができました。多少慣れによるものもあるかもしれませんが。
以下に学習時に疑問に感じて詰まったところのメモや、感想などを箇条書きにしています。
- 第7章：生成モデル
- 正規分布に従ってサンプリングとは、サンプリング結果が正規分布になっていること。
- VAEは、ニューラルネットワークを通して、平均と分散を学習していく。
- 順伝播時に平均と分散を求めるわけではない。
- 第8章：強化学習基礎
- 元々Q学習については勉強していたので、入りやすかった
- 確実な正解は分からないので、仮決めしている。学習することで、後方から徐々に学習結果が前方へ伝播してくる。
- 方策は、行動を決めるためのルール。例えば、4つの行動がある場合、それらからランダムに選択する、というルールが方策。
- 第9章：DLの実用
- 特に画像認識の判断根拠の説明性が興味深かった
- 第10章：画像処理分野
- 最初は画像の入力チャネルはrRGBの3チャネル。これにフィルタ数を乗じた値が出力チャネル数となる。
- 入力チャネルと出力チャネルの数が同じ層は、フィルタの数は1個となる。
- フィルタのサイズとストライドは出力画像のサイズに影響する。
- Bottleneckの内部でチャネル数が4倍になる。Bottleneck(64, 16)は、in/outの値は同じことになる。この4倍からズレる場合は、strideの値を1より大きくして、畳み込みで画像サイズを調整する必要がある。
- downSampleは先頭から最終への直通ルートなので、入力は直前の層の出力と一致しない。
- 第11章：自然言語処理分野
- attentionの内積注意の計算について。hs(系列データ),hr(1系列)の内積は、hsに対して転置したhrで内積を取れば良い。ただし、hrをブロードキャストして、その上でhsとhrのアダマール積を取り、行単位で和を取っても、同じ結果になる。
- 第12章：音声処理
- ここは音声処理自体の話が難しい。フーリエ変換、毎回忘れてしまう。
- 第13章：生成分野
- 様々なGANの説明。要点は分かりやすい。
- 第14章：強化学習
- Q学習の教師ラベルは、本当の正解は分かっていないので、暫定となる。Target Q Networkは仮の正解。一定期間固定した後、学習結果に基づいて更新する。
後はプロダクト開発試験と修了テストが残課題となります。修了テストのレベル感がまだ見えていないので怖いですね。追試が有料で且つ、法人申込みなので請求先が会社になってしまうのも、困りどころです。