離婚後の日記

離婚した。

4.4単変量非線形変換~4.5自動特徴量変換

(60m)05:30~06:30

 

4.4

乗数の変換が有用であったように、log,sin,cosの変換も有用である(前回同様場合による)

(???)

ほとんどのモデルは「ガウス分布」に従っているときに最もうまく機能する。

つまり見慣れた「ベルカーブ」になる場合である。

確率的な立場からは「ポワソン分布」「ポワソン回帰」を使ったほうが良い。

 

4.5

特徴量の追加は過剰適合も引き起こす。特徴量を減らして汎化性能を上げるのもあり。

方法は3つ。単変量統計、モデルベース選択、反復選択。

 

4.5.1 単変量統計

分散分析。個々の特徴量との関係から取捨選択。相互関係は無視されてしまう。

特徴量が多すぎる場合や多くの特徴量が全く関係ないと思われるような場合に有用である。

 

4.5.2 モデルベース選択

L1ペナルティを用いた線形モデルに似てる。

あるモデルを用いて特徴量を選択する。選択モデルと学習モデルは違っても構わない(選択モデル:決定木 学習モデル:ロジ 等)

 

4.5.3 反復選択

0から1つずつ特徴量を加えていき基準を満たすモデルをつくる、もしくは全てを含む特徴量から1つずつ減らしていき基準を満たすモデルをつくる。

再帰的特徴量削減(RFE):すべての特徴量からモデルをつくり、そのモデルで最も重要度が低い特徴量を削除する。これを事前に定めた数になるまで繰り返す。

 

自動特徴量選択は
・どの特徴量が必要か判断できない場合
・予測を高速化したい
・解釈しやすいモデルを構築したい(特徴量を減らす)
などの際に有用であるが、実世界で性能が大幅に向上することはあまりない。
#調べること:「ガウス分布」「ベルカーブ」「ポワソン分布」