語／語の組み合わせの大人らしさ

検索エンジンにクエリを投げて，セーフサーチのオン／オフを切り替えたときに返ってきた件数をうまいことして，語／語の組み合わせの大人度合いが測れないかと思ったけどあんまりうまくいかなかった．

イメージ

すっごく単純にすると

• 大人な語
• 語がどれほど大人か
• $$大人(眼球) = \log \frac{n(眼球, off)}{n(眼球, strict)}$$
• ただしn(q,a)はクエリqのセーフサーチの設定aのoff/moderate/strictのとき結果件数．検索結果が0件の場合もあるだろうから分母には1足しておいてもいい．
• 大人な組み合わせ
• 語を組み合わせることでどれくらい大人っぽくなるか
• $$大人組(目玉, 玉子) = \log \frac{n(目玉 and 玉子, off)}{n(目玉 and 玉子, strict)} - 大人(目玉) - 大人(玉子)$$

みたいな感じ．あんま考えてないのでこれで比較ができるかわかんないけど．大人がゲシュタルト崩壊…

でも

普通に考えてセーフサーチが強いほうが検索結果少ないだろ，と思ってたら，

眼球 - Google 検索
セーフサーチ: オフ
約 57,800,000 件 （0.20 秒） 

眼球 - Google 検索
セーフサーチ: 強
約 71,800,000 件 （0.19 秒） 

セーフサーチ強のほうが多いこともある…どういうことだってばよ

Bingもあんま変わらん．そういうもんなのかな．


ちなみにWebの検索結果件数を使って人間関係を抽出している論文（件数だけじゃないけど）→Web 上の情報からの人間関係ネットワークの抽出

Pythonの辞書をvalue値でソートするコードの実行時間の比較

get，lambda，itemgetter，zipを使ったvalue値でのソートを比較してみた．
以下コード．



timeitで計測．

>>> import timeit
>>> timeit.timeit(stmt='get.sort_test()', setup='import get', number=10000)
0.6642911434173584
>>> timeit.timeit(stmt='itemgetter.sort_test()', setup='import itemgetter', number=10000)
0.6961650848388672
>>> timeit.timeit(stmt='zip.sort_test()', setup='import zip', number=10000)
0.6995840072631836
>>> timeit.timeit(stmt='lamb.sort_test()', setup='import lamb', number=10000)
0.7502970695495605

ただし

• zipの場合(value, key)のリストになる
• getの場合keyのリストになる（value値は返さない）

に注意．

よく見かけるのはlambdaを使うものだが，同じ結果を得たかったらoperator.itemgetterを使うほうが少し早い．上位だけ取ってきたいときはgetが早いかも．

他にもやり方があるだろうか．

bl.ocks.orgで青空文庫で変なルビ使いをする作者の関係の可視化

bl.ocks.orgを使って，青空文庫のルビを抽出し，「漢字《ひらがな》」でないルビを見つけ，同じようなルビの使い方をしている作者の関係を可視化してみた．「変な」は語弊があるかも．D3.js．

Authors Relationships based upon Not-kanji-hiragana Rubis

http://bl.ocks.org/satomacoto/5251189

このページは以下のGistから生成

https://gist.github.com/satomacoto/5251189

bl.ocks.orgはGitHub Gistビューア．Gistにいくつかのファイルを置くとwebページとして見れるようになる．Gistの基本構成は以下．

• index.html
• README.md
• thumbnail.png

index.htmlに表示させるソースコード，README.mdにMarkdown形式で説明を記述，thumbnail.pngにGist一覧のためのサムネール画像．Gistに他のファイルを置くと相対的にリンクを張ることができる．絶対パスも記述可能．Gistをブログのように使えるかも．


作者の同じようなルビ使い関係は，たとえば「亜米利加《アメリカ》」というルビを二人の作者が振っていたらその作者同士に関係がある，と定義した．重み付けなど詳細はまた他で．可視化したのはすべての関係ではない．同じようなルビの使い方をしている作者の関係からなんか他の作者の関係（同じ時代とか思想とか）見えないかなと考えていたのだけどどうだろうか．ちなみに変わったルビ使いの例を少しだけ挙げると

003659 000050 仏蘭西 フランス
046340 001234 亜米利加人 ヤンキー
048416 000050 遍路芸人 ジプシイ
050424 001421 辯證的な性質 デイヤレクテイツシエナツール
000085 000879 童貞聖麻利耶様 ビルゼンサンタマリヤさま
001317 000125 吾れ直ちに悪魔と一つになるを誰が妨ぎ得べきや ヴァス・ヒエルテ・ミッヒ・ダス・イヒス・ニヒト・ホイテ・トイフェル

といったようなものがある．クラスタリングして色変えればよかったかも．


あと4日で無職＼(^o^)／

機械学習に関するメモ

機械学習の目的は与えられたデータ$\mathcal{D}$から関数$$y = f(\mathbf{x})$$を求めること。ただし、$\mathbf{x}$は入力、$y$は出力（ターゲット）。

• 代表的な手法は出力とアルゴリズムのタイプで以下のように分けられる。
  
  

  	出力 - クラス	出力 - 数値
  教師あり学習	分類	回帰
  教師なし学習	クラスタリング	次元削減

  
  
• 「クラス」っていうのは、スパムメールかどうか、とか、誰の顔か、とか。
• 機械学習のアルゴリズムには他にも半教師あり学習やアンサンブル学習、強化学習、マルチタスク学習（転移学習）などがある。
• パターン認識では推論問題の手法であるクラス系列ラベリング(CRFs, HMMs...)や数値系列ラベリング(Kalman Filter, Particle Filter...)なども扱われる。
• 生成モデル的アプローチと識別モデル的アプローチ。
• オンライン学習（新しいデータがくるごとに関数を更新）とバッチ学習（全データから関数を学習）。
• ついでに入力がクラスか数値かによって手法を探すとよい。
• ...
• 関連研究を概観したいときは「hogehoge survey」でなんか引っかかったらラッキー。

分類

• 入力$\mathbf{x}$に対する出力（クラス）$y$を求める関数を訓練データ$\mathcal{D} = \{(\mathbf{x}_1, y_1), ..., (\mathbf{x}_n, y_n)\}$から学習する。
• パラメトリックな手法とノンパラメトリックな手法に分けられる（パラメトリックな手法というのはデータの母集団の母数を仮定するもの）。
• 決定木、ナイーブベイズ分類器、k近傍法、アンサンブル学習...
• http://en.wikipedia.org/wiki/Statistical_classification
• http://en.wikipedia.org/wiki/Category:Classification_algorithms

Classification

クラスタリング

• 似ているデータをまとめてグループに分ける。
• k平均法、混合モデル、階層的クラスタリング、グラフベースクラスタリング...
• http://en.wikipedia.org/wiki/Cluster_analysis
• http://en.wikipedia.org/wiki/Category:Data_clustering_algorithms

Clustering

回帰

• 入力に対する出力（数値）を求める関数を訓練データから学習する。
• 線形回帰、非線形回帰...
• http://en.wikipedia.org/wiki/Regression_analysis
• http://en.wikipedia.org/wiki/Category:Regression_analysis

Regression

次元削減

• 高次元のデータをなるべく重要なところは残しつつ低次元に変換する。
• 次元圧縮、次元縮約などとも。
• PCA, Nonlinear dimensionality reduction...
• http://en.wikipedia.org/wiki/Dimension_reduction
• http://en.wikipedia.org/wiki/Category:Dimension_reduction

Dimension Reduction

TODO

• 具体的な手法の追記
• 詳細の追記
• アプリケーションの追記
• 実装例
• 各手法を特徴に応じて表に整理

Bloggerの画像をRetinaディスプレイに対応させる

デフォルトのツールを使ってPicasaウェブアルバムにアップした場合、画像のサイズを指定して、サムネイル画像アドレスの.../s(.*?)/...の数値を指定したサイズの倍くらいにしたら綺麗になった。

width="320"と指定したら、.../s640/...とする。

違い、

変更前

変更後

わかりにくいか。

Resolutionの設定はBest for Retina display。ScaledのLarger Textに対応するためには3倍くらいの数値を使った方がいいかも。Change Resolution.appなどを使ってたら別に問題ないのかな。