curl でログインしてスクレイピングする方法

クッキー初期化

$ curl --cookie-jar cjar --output /dev/null http://example.com/user/login

ログイン submit form value

$ curl http://example.com/user/login \
--cookie cjar \
--cookie-jar cjar \
--data 'name=USERNAME' \
--data 'pass=PASSWORD' \
--data 'form_id=user_login' \
--data 'op=Log in' \
--location \
--verbose \
--output /tmp/loginresult.html

コンテンツの取得

$ curl http://example.com/article/secret.html --cookie cjar --output /tmp/secret.html