satomacoto: 02/2013

機械学習の目的は与えられたデータ$\mathcal{D}$から関数$$y = f(\mathbf{x})$$を求めること。ただし、$\mathbf{x}$は入力、$y$は出力（ターゲット）。

代表的な手法は出力とアルゴリズムのタイプで以下のように分けられる。

出力 - クラス出力 - 数値

教師あり学習分類回帰

教師なし学習クラスタリング次元削減
「クラス」っていうのは、スパムメールかどうか、とか、誰の顔か、とか。
機械学習のアルゴリズムには他にも半教師あり学習やアンサンブル学習、強化学習、マルチタスク学習（転移学習）などがある。
パターン認識では推論問題の手法であるクラス系列ラベリング(CRFs, HMMs...)や数値系列ラベリング(Kalman Filter, Particle Filter...)なども扱われる。
生成モデル的アプローチと識別モデル的アプローチ。
オンライン学習（新しいデータがくるごとに関数を更新）とバッチ学習（全データから関数を学習）。
ついでに入力がクラスか数値かによって手法を探すとよい。
...
関連研究を概観したいときは「hogehoge survey」でなんか引っかかったらラッキー。