入力データ Read more about hxselectでhtmlからaタグの中身とhrefの値を取得

bz2 形式で圧縮

$ tar cfvj file.tar.bz2 dir

sjis ファイル名で圧縮されたファイルを、日本語が文字化けしないように unzip コマンドで解凍

$ unzip -O sjis file.zip

解凍先を指定して unzip Read more about 圧縮・解凍コマンド

$ curl -s https://wordpress.org/latest.tar.gz | tar -xz -C /tmp
$ wget http://example.com/archive.tar.bz2 -O - | tar -xj　－C /tmp
 Read more about ダウンロードして指定ディレクトリに解凍する

クッキー初期化

$ curl --cookie-jar cjar --output /dev/null http://example.com/user/login

ログイン submit form value Read more about curl でログインしてスクレイピングする方法

Wikipediaの「猫の品種の一覧」ページから「猫の品種」HTMLテーブルをスクレイピングして取得、CSV変換して必要なデータをフィルタする例。 Read more about コマンドラインからスクレイピングする方法

• lynx

$ lynx -dump "http://octaviadata.com" | grep -o 'http[s]*://.*'

• curl

 Read more about コマンドラインでWebページのURLを抽出する方法

curlを使用してDrupalサイトにログイン、Web APIからJSONデータを取得し、jqコマンドで取得フィールドにラベルをつけてJSON形式で出力。 Read more about フィールドを指定してAPIから取得した都道府県JSONデータを、jqコマンドでラベルをつけてJSONデータとして再出力する方法

jq の使い方の練習。

入力データ

$ cut -d, -f1 placeidlist.txt
ChIJNQ2aK4qcnl8RNtkWQx4khv0
ChIJfbgigwxTnl8RV1nqTBsMubU

コマンド Read more about Google Places APIを利用して取得したJSON形式の詳細データをjqでCSVに変換

$ curl -I -Ls -o /dev/null -w %{url_effective} http://google.com
http://www.google.co.jp/
 Read more about curlでredirect先のurlを取得

$ curl -C - -O https://cdn.photographylife.com/wp-content/uploads/2014/06/Nikon-D810-Image-Sample-6-960x640.jpg

-C 再開オプション
-O リモートと同一ファイル名でダウンロード Read more about curlでダウンロード