クッキー初期化

$ curl --cookie-jar cjar --output /dev/null http://example.com/user/login

ログイン submit form value Read more about curl でログインしてスクレイピングする方法

Wikipediaの「猫の品種の一覧」ページから「猫の品種」HTMLテーブルをスクレイピングして取得、CSV変換して必要なデータをフィルタする例。 Read more about コマンドラインからスクレイピングする方法

スプレッドシートを作成またはオープンします。https://www.google.com/sheets

セルに式を入力します。

入力例:

=ImportHtml("https://en.wikipedia.org/wiki/Comparison_shopping_website", "table", 0)
 Read more about コピペが困難なHTMLの表を Google Sheets でインポートする方法

• 入力HTMLファイル

$ cat table.html 
<table>
    <tr>
      <th>都道府県</th>
      <th>テレビ局のYouTube公式チャンネル</th>
    </tr>
    <tr>
      <td>北海道</td>
      <td>HTB北海道テレビ</td>
    </tr>
    <tr> Read more about HTMLテーブルをスクレイプしてCSVに出力する汎用rubyスクリプト

Nokogiri他 インストール

$ sudo apt-get install build-essential patch
$ sudo apt-get install ruby-dev zlib1g-dev liblzma-dev
$ sudo gem install nokogiri

ファイルをダウンロードして、ローカルでスクレイピングします。 Read more about Nokogiri から始める Ruby スクレイピング