Pythonの辞書をvalue値でソートするコードの実行時間の比較

get，lambda，itemgetter，zipを使ったvalue値でのソートを比較してみた．
以下コード．



timeitで計測．

>>> import timeit
>>> timeit.timeit(stmt='get.sort_test()', setup='import get', number=10000)
0.6642911434173584
>>> timeit.timeit(stmt='itemgetter.sort_test()', setup='import itemgetter', number=10000)
0.6961650848388672
>>> timeit.timeit(stmt='zip.sort_test()', setup='import zip', number=10000)
0.6995840072631836
>>> timeit.timeit(stmt='lamb.sort_test()', setup='import lamb', number=10000)
0.7502970695495605

ただし

• zipの場合(value, key)のリストになる
• getの場合keyのリストになる（value値は返さない）

に注意．

よく見かけるのはlambdaを使うものだが，同じ結果を得たかったらoperator.itemgetterを使うほうが少し早い．上位だけ取ってきたいときはgetが早いかも．

他にもやり方があるだろうか．

bl.ocks.orgで青空文庫で変なルビ使いをする作者の関係の可視化

bl.ocks.orgを使って，青空文庫のルビを抽出し，「漢字《ひらがな》」でないルビを見つけ，同じようなルビの使い方をしている作者の関係を可視化してみた．「変な」は語弊があるかも．D3.js．

Authors Relationships based upon Not-kanji-hiragana Rubis

http://bl.ocks.org/satomacoto/5251189

このページは以下のGistから生成

https://gist.github.com/satomacoto/5251189

bl.ocks.orgはGitHub Gistビューア．Gistにいくつかのファイルを置くとwebページとして見れるようになる．Gistの基本構成は以下．

• index.html
• README.md
• thumbnail.png

index.htmlに表示させるソースコード，README.mdにMarkdown形式で説明を記述，thumbnail.pngにGist一覧のためのサムネール画像．Gistに他のファイルを置くと相対的にリンクを張ることができる．絶対パスも記述可能．Gistをブログのように使えるかも．


作者の同じようなルビ使い関係は，たとえば「亜米利加《アメリカ》」というルビを二人の作者が振っていたらその作者同士に関係がある，と定義した．重み付けなど詳細はまた他で．可視化したのはすべての関係ではない．同じようなルビの使い方をしている作者の関係からなんか他の作者の関係（同じ時代とか思想とか）見えないかなと考えていたのだけどどうだろうか．ちなみに変わったルビ使いの例を少しだけ挙げると

003659 000050 仏蘭西 フランス
046340 001234 亜米利加人 ヤンキー
048416 000050 遍路芸人 ジプシイ
050424 001421 辯證的な性質 デイヤレクテイツシエナツール
000085 000879 童貞聖麻利耶様 ビルゼンサンタマリヤさま
001317 000125 吾れ直ちに悪魔と一つになるを誰が妨ぎ得べきや ヴァス・ヒエルテ・ミッヒ・ダス・イヒス・ニヒト・ホイテ・トイフェル

といったようなものがある．クラスタリングして色変えればよかったかも．


あと4日で無職＼(^o^)／

機械学習に関するメモ

機械学習の目的は与えられたデータ$\mathcal{D}$から関数$$y = f(\mathbf{x})$$を求めること。ただし、$\mathbf{x}$は入力、$y$は出力（ターゲット）。

• 代表的な手法は出力とアルゴリズムのタイプで以下のように分けられる。
  
  

  	出力 - クラス	出力 - 数値
  教師あり学習	分類	回帰
  教師なし学習	クラスタリング	次元削減

  
  
• 「クラス」っていうのは、スパムメールかどうか、とか、誰の顔か、とか。
• 機械学習のアルゴリズムには他にも半教師あり学習やアンサンブル学習、強化学習、マルチタスク学習（転移学習）などがある。
• パターン認識では推論問題の手法であるクラス系列ラベリング(CRFs, HMMs...)や数値系列ラベリング(Kalman Filter, Particle Filter...)なども扱われる。
• 生成モデル的アプローチと識別モデル的アプローチ。
• オンライン学習（新しいデータがくるごとに関数を更新）とバッチ学習（全データから関数を学習）。
• ついでに入力がクラスか数値かによって手法を探すとよい。
• ...
• 関連研究を概観したいときは「hogehoge survey」でなんか引っかかったらラッキー。

分類

• 入力$\mathbf{x}$に対する出力（クラス）$y$を求める関数を訓練データ$\mathcal{D} = \{(\mathbf{x}_1, y_1), ..., (\mathbf{x}_n, y_n)\}$から学習する。
• パラメトリックな手法とノンパラメトリックな手法に分けられる（パラメトリックな手法というのはデータの母集団の母数を仮定するもの）。
• 決定木、ナイーブベイズ分類器、k近傍法、アンサンブル学習...
• http://en.wikipedia.org/wiki/Statistical_classification
• http://en.wikipedia.org/wiki/Category:Classification_algorithms

Classification

クラスタリング

• 似ているデータをまとめてグループに分ける。
• k平均法、混合モデル、階層的クラスタリング、グラフベースクラスタリング...
• http://en.wikipedia.org/wiki/Cluster_analysis
• http://en.wikipedia.org/wiki/Category:Data_clustering_algorithms

Clustering

回帰

• 入力に対する出力（数値）を求める関数を訓練データから学習する。
• 線形回帰、非線形回帰...
• http://en.wikipedia.org/wiki/Regression_analysis
• http://en.wikipedia.org/wiki/Category:Regression_analysis

Regression

次元削減

• 高次元のデータをなるべく重要なところは残しつつ低次元に変換する。
• 次元圧縮、次元縮約などとも。
• PCA, Nonlinear dimensionality reduction...
• http://en.wikipedia.org/wiki/Dimension_reduction
• http://en.wikipedia.org/wiki/Category:Dimension_reduction

Dimension Reduction

TODO

• 具体的な手法の追記
• 詳細の追記
• アプリケーションの追記
• 実装例
• 各手法を特徴に応じて表に整理

Bloggerの画像をRetinaディスプレイに対応させる

デフォルトのツールを使ってPicasaウェブアルバムにアップした場合、画像のサイズを指定して、サムネイル画像アドレスの.../s(.*?)/...の数値を指定したサイズの倍くらいにしたら綺麗になった。

width="320"と指定したら、.../s640/...とする。

違い、

変更前

変更後

わかりにくいか。

Resolutionの設定はBest for Retina display。ScaledのLarger Textに対応するためには3倍くらいの数値を使った方がいいかも。Change Resolution.appなどを使ってたら別に問題ないのかな。

Macで京都大学テキストコーパスの変換

京都大学テキストコーパス - KUROHASHI-KAWAHARA LAB

でKyotoCorpus4.0.tar.gzをダウンロードして解凍してREADME通りに実行．

でもMac OS X 10.7.5だとそのままコーパスをつくろうとすると

euc-jp "\xA4" does not map to Unicode at ./src/dupli.pl line 9, line 163.

みたいなエラーが出ちゃう．そこで以下の手順でちょっと手を加えます．

1. 同じフォルダにmai1995.txtをコピー．毎日新聞1995年版CD-ROMのファイルはmai1995.txt (Oct 6, 2011 11:37AM)でした．

2. 文字コードと改行コードとファイル名の変換

nkf -s -Lu mai1995.txt > mai95.txt

3. src/format.plとsrc/num2KNP.plについてuse open ":std";を追加

...
use open IO => ':encoding(euc-jp)';
use open ":std";
...

4. 実行

./auto_conv -d .

参考
- mizlog 京都大学テキストコーパス on Lion