ニューラルネットワークとディープラーニング
ディープラーニングの土台となるニューラルネットワークとは何か、そのようにしてディープラーニングを実現したのかを見ていきます。
単純パーセプトロン
単純パーセプトロンは、以下の3つの要素で構成されます：
- 入力層（Input Layer）
複数の特徴量（入力データ）がニューロンに与えられる。 - 重み（Weight）とバイアス（Bias）
各入力に対して「重み」が適用され、バイアスが加えられることでデータの調整が行われる。入力と出力層のニューロンのつながりが重みで表される、といえる。 - 活性化関数（Activation Function）
線形結合されたデータを変換し、出力を決定する。
単純パーセプトロンの場合、ステップ関数（閾値を超えたら1、そうでなければ0）が用いられる。
ステップ関数
単純パーセプトロンは線形分離可能な問題に対しては有効ですが、XOR問題のような非線形問題を解くことができません。この限界を克服するために、多層パーセプトロン（MLP）や畳み込みニューラルネットワーク（CNN）など、より高度な構造のニューラルネットワークが登場しました。
誤差関数
ディープラーニングのモデルの学習には、予測誤差を関数で表した誤差関数を最小化するというアプローチをとります。誤差関数は扱う問題によって異なります。
平均二乗誤差関数（Mean Squared Error, MSE）
平均二乗誤差（Mean Squared Error, MSE）関数は、機械学習や統計分析においてモデルの予測精度を評価するために広く使用される損失関数の一つです。
- 誤差の大きさを明確に評価:
予測値と正解値の差が大きいほど、MSEの値も大きくなります。これにより、モデルの予測精度がどの程度悪いのかを定量的に把握できます。 - 誤差の「ペナルティ」が非線形:
誤差を二乗するため、小さな誤差には比較的少ないペナルティを与え、大きな誤差にはより大きなペナルティを与えます。これは、大きな外れ値に対して敏感であるという特性を持ちます。 - 微分可能で最適化に適している:
MSEは微分可能な関数であり、勾配降下法などの最適化アルゴリズムと非常に相性が良いです。これにより、ニューラルネットワークの学習において、誤差逆伝播法を用いて効率的にモデルのパラメータ（重みやバイアス）を更新できます。 - 解釈が容易:
損失の単位は、出力変数の単位の二乗になるため、直感的な理解がしやすい場合があります。
応用例
- 回帰問題（線形回帰、ニューラルネットワーク）における損失関数
- モデルの精度評価（低いほど精度が良い）
- 最適化アルゴリズムの指標（勾配降下法などでMSEを最小化）
交差エントロピー誤差関数
交差エントロピー誤差（Cross-Entropy Loss）関数は、分類問題（特に確率分布を出力するモデル）で広く使用される損失関数です。ロジスティック回帰やニューラルネットワークのソフトマックス層を用いたマルチクラス分類で一般的です。
特徴
- 確率分布の比較に適している
予測確率を直接評価できる - 正解ラベルの確率を最大化し、不正解ラベルの確率を最小化する
勾配降下法との相性が良い
ロジスティック回帰やソフトマックス関数と組み合わせることで、適切に誤差を最小化できる
出力が確率（0〜1）であるため、学習が安定しやすい
応用例
- 二値分類：シグモイド関数と組み合わせる（例：病気の有無を予測）
- マルチクラス分類：ソフトマックス関数と組み合わせる（例：画像の種類を判定）
- 自然言語処理：単語の確率分布を学習し、次の単語を予測
その他の誤差関数
距離学習における誤差関数
距離学習（Distance Metric Learning）における誤差関数は、データ間の類似度を適切に学習するために設計されています。特に、顔認識や画像検索、クラスタリングなどのタスクで重要な役割を果たします。
生成モデルにおける誤差関数
生成モデルでは、誤差関数（損失関数）がモデルの学習を導く重要な役割を果たします。特に、生成的敵対ネットワーク（GAN） や 変分オートエンコーダ（VAE） などのモデルでは、適切な損失関数の選択が生成品質に大きく影響します。
- カルバック・ライブラー（KL）ダイバージェンス
VAEで使用される損失関数で、潜在変数の分布を正則化します。これにより、潜在空間の分布が適切に制約され、スムーズな生成が可能になります。 - イェンゼン・シャノン情報量（Jensen-Shannon Divergence, JSD）
2つの確率分布間の類似度を測る指標です。これはカルバック・ライブラー（KL）ダイバージェンスの対称化されたバージョンであり、確率分布間の距離を測る際に広く使われます。
生成モデルにディープラーニングを活用したモデルを深層生成モデルと呼びますが、その一つである変分オートエンコーダ（Variational Autoencoder, VAE）では、カルバック・ライブラー情報量をベースとした誤差関数が最適化計算に用いられます。
正規化（正則化）
ディープラーニングにおける正則化（Regularization）とは、モデルの過学習（Overfitting）を防ぎ、汎化性能を向上させるための技術です。ニューラルネットワークは多くのパラメータを持つため、学習データに過剰に適合しやすく、未知のデータに対する予測精度が低下することがあります。これを防ぐために、正則化を導入します。
誤差関数の改良
代表的な正則化手法には以下のようなものがあります：
- L1正則化（Lasso Regularization）: 重みの絶対値の合計をペナルティとして損失関数に加え、不要なパラメータをゼロにすることで特徴選択の効果を持ちます。
- L2正則化（Ridge Regularization）: 重みの二乗の合計をペナルティとして加え、全体の重みを小さく抑えることで過学習を防ぎます。
- ドロップアウト（Dropout）: 学習時にランダムに一部のニューロンを無効化し、モデルの依存関係を減らして汎化性能を向上させます。
- 早期停止（Early Stopping）: 検証データの損失が増加し始めた時点で学習を停止し、過学習を防ぎます。
ドロップアウト
ドロップアウトは正則化手法の一つですが、学習時にランダムに一部のニューロンを無効化することで、特定のニューロンへの依存を減らし、より汎化性能の高いモデルを作ることができます。
各ミニバッチの学習時に、一定の確率でニューロンを無効化（ドロップアウト）します。推論時:にはすべてのニューロンを使用しますが、学習時のドロップアウト率を考慮してスケーリングを行います。
ドロップアウトは内部的にアンサンブル学習を行っていることになります。
コメント