第8章: ニューラルネット

第6章で取り組んだニュース記事のカテゴリ分類を題材として,ニューラルネットワークでカテゴリ分類モデルを実装する.なお,この章ではPyTorch, TensorFlow, Chainerなどの機械学習プラットフォームを活用せよ.

70. 単語ベクトルの和による特徴量

問題50で構築した学習データ,検証データ,評価データを行列・ベクトルに変換したい.例えば,学習データについて,すべての事例の特徴ベクトルを並べた行列と,正解ラベルを並べた行列(ベクトル)を作成したい.

ここで,は学習データの事例数であり,はそれぞれ,番目の事例の特徴量ベクトルと正解ラベルを表す. なお,今回は「ビジネス」「科学技術」「エンターテイメント」「健康」の4カテゴリ分類である.未満の自然数(を含む)を表すことにすれば,任意の事例の正解ラベルで表現できる. 以降では,ラベルの種類数をで表す(今回の分類タスクではである).

番目の事例の特徴ベクトルは,次式で求める.

ここで,番目の事例は個の(記事見出しの)単語列から構成され,は単語に対応する単語ベクトル(次元数は)である.すなわち,番目の事例の記事見出しを,その見出しに含まれる単語のベクトルの平均で表現したものがである.今回は単語ベクトルとして,問題60でダウンロードしたものを用いればよい.次元の単語ベクトルを用いたので,である.

番目の事例のラベルは,次のように定義する.

なお,カテゴリ名とラベルの番号が一対一で対応付いていれば,上式の通りの対応付けでなくてもよい.

以上の仕様に基づき,以下の行列・ベクトルを作成し,ファイルに保存せよ.

  • 学習データの特徴量行列:
  • 学習データのラベルベクトル:
  • 検証データの特徴量行列:
  • 検証データのラベルベクトル:
  • 評価データの特徴量行列:
  • 評価データのラベルベクトル:

なお,はそれぞれ,学習データの事例数,検証データの事例数,評価データの事例数である.

71. 単層ニューラルネットワークによる予測

問題70で保存した行列を読み込み,学習データについて以下の計算を実行せよ.

ただし,はソフトマックス関数,は特徴ベクトルを縦に並べた行列である.

行列は単層ニューラルネットワークの重み行列で,ここではランダムな値で初期化すればよい(問題73以降で学習して求める).なお,は未学習の行列で事例を分類したときに,各カテゴリに属する確率を表すベクトルである. 同様に,は,学習データの事例について,各カテゴリに属する確率を行列として表現している.

72. 損失と勾配の計算

学習データの事例と事例集合に対して,クロスエントロピー損失と,行列に対する勾配を計算せよ.なお,ある事例に対して損失は次式で計算される.

ただし,事例集合に対するクロスエントロピー損失は,その集合に含まれる各事例の損失の平均とする.

73. 確率的勾配降下法による学習

確率的勾配降下法(SGD: Stochastic Gradient Descent)を用いて,行列を学習せよ.なお,学習は適当な基準で終了させればよい(例えば「100エポックで終了」など).

74. 正解率の計測

問題73で求めた行列を用いて学習データおよび評価データの事例を分類したとき,その正解率をそれぞれ求めよ.

75. 損失と正解率のプロット

問題73のコードを改変し,各エポックのパラメータ更新が完了するたびに,訓練データでの損失,正解率,検証データでの損失,正解率をグラフにプロットし,学習の進捗状況を確認できるようにせよ.

76. チェックポイント

問題75のコードを改変し,各エポックのパラメータ更新が完了するたびに,チェックポイント(学習途中のパラメータ(重み行列など)の値や最適化アルゴリズムの内部状態)をファイルに書き出せ.

77. ミニバッチ化

問題76のコードを改変し,事例ごとに損失・勾配を計算し,行列の値を更新せよ(ミニバッチ化).の値をと変化させながら,1エポックの学習に要する時間を比較せよ.

78. GPU上での学習

問題77のコードを改変し,GPU上で学習を実行せよ.

79. 多層ニューラルネットワーク

問題78のコードを改変し,バイアス項の導入や多層化など,ニューラルネットワークの形状を変更しながら,高性能なカテゴリ分類器を構築せよ.