Ridge回帰とLasso回帰について

読んでる本

• まだ途中です。

  見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑

ただの線形回帰との違い

• 過学習を起こしにくい
  • RidgeもLassoも罰則項があり、過学習を起こしにくい

RidgeとLassoの式の違い（2次式の場合)

最初の項とαの項が2乗になっているかいないかの違いがある。

• Ridge

$$ R(w) = Σ_{i=1}^{n}(y_i-(w_0 + w_1x_i + w_2x_i^{2})^{2} + α(w_1^{2} + w_2^{2}))^{2} $$

• Lasso

$$ R(w) = Σ_{i=1}^{n}(y_i-(w_0 + w_1x_i + w_2x_i^{2})) + α(|w_1| + |w_2|) $$

αはハイパーパラメータの選定はGridSearchとかでやればいいのかな？