IT notes

$ curl -s "https://ja.wikipedia.org/w/api.php?action=query&titles=霜降り造り&prop=revisions&rvprop=content&format=json&utf8=" | jq '.query.pages."3326267".revisions[]."*"'

使用例

エスケープ

Web::Scraper に付属の scraperコマンドでスクレイピング。

ページ情報取得

$ scraper 'https://ja.wikipedia.org/wiki/%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3%E3%81%AE%E4%B8%80%E8%A6%A7'

スクレイピング

• netcat

$ while true ; do nc -l 8888 < index.html ; done

• php

$ php -S localhost:8888

• python

$ python -m SimpleHTTPServer 8888

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 14.04.4 LTS
Release:        14.04
Codename:       trusty
$ sudo vim /etc/apt/sources.list
deb http://dl.ajaxplorer.info/repos/apt stable main
deb-src http://dl.ajaxplorer.info/repos/apt stable main

$ cat population.csv
国,首都,人口(2006),id
"日本国","東京","127767944",1
アメリカ合衆国,ワシントン,300007997,2

$ awk -F, '{ print $4 "," $1 "," $2 "," $3 }' population.csv
id,国,首都,人口(2006)
1,"日本国","東京","127767944"
2,アメリカ合衆国,ワシントン,300007997

名前をキーに、複数行のCSVデータを一行にまとめます。

入力ファイル

$ cat input.csv
上根来水源の森,水源の森百選
上山公園,全国森林浴の森百選
上山公園,日本の都市公園100選
上山公園,日本の歴史公園100選
城崎温泉,日本百名湯
城山公園,全国森林浴の森百選
城山公園,日本のさくら名所100選
城山公園,日本の都市公園100選
城山公園,日本の夕陽百選
城山公園,日本の歴史公園100選
城山公園,夜景100選
城山展望台,夜景100選

1フィールド目をキーにCSVを名寄せするperlスクリプト

joinコマンドを使用し、ワンライナーで複数のCSVファイルをマージ結合する方法です。数万件でもすぐに終わります。

入力ファイル - file1.csv（名前とplace_id）、file2.csv（GPS座標）、file3.csv（レイティングの値）