Ridge回帰とLasso回帰について
読んでる本
- まだ途中です。
- 作者: 秋庭伸也,杉山阿聖,寺田学,加藤公一
- 出版社/メーカー: 翔泳社
- 発売日: 2019/04/17
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
ただの線形回帰との違い
RidgeとLassoの式の違い(2次式の場合)
最初の項とαの項が2乗になっているかいないかの違いがある。
- Ridge
$$ R(w) = Σ_{i=1}^{n}(y_i-(w_0 + w_1x_i + w_2x_i^{2})^{2} + α(w_1^{2} + w_2^{2}))^{2} $$
- Lasso
$$ R(w) = Σ_{i=1}^{n}(y_i-(w_0 + w_1x_i + w_2x_i^{2})) + α(|w_1| + |w_2|) $$
αはハイパーパラメータの選定はGridSearchとかでやればいいのかな?