Web::Scraper に付属の scraperコマンドでスクレイピング。

ページ情報取得

$ scraper 'https://ja.wikipedia.org/wiki/%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3%E3%81%AE%E4%B8%80%E8%A6%A7'

スクレイピング

指定した URL からタイトルとURLリンクを抽出し、CSV形式で出力するperlスクリプトです。

scraperコマンド、矢印キーで履歴検索可に。

$ sudo apt-get install libterm-readline-gnu-perl

タイトルとリンクを取得する例

my $scraper = scraper {
  process '//td/small/a',
    'result[]' => { 'title' => 'TEXT', 'link' => '@href' };
};

入れ子にして使用。正規表現による抽出、後処理。

Web::Scraper に付属の scraperコマンドでスクレイピング。

ページ情報取得

$ scraper 'https://ja.wikipedia.org/wiki/%E5%86%85%E9%96%A3%E7%B7%8F%E7%90%86%E5%A4%A7%E8%87%A3%E3%81%AE%E4%B8%80%E8%A6%A7'

スクレイピング

指定した URL からタイトルとURLリンクを抽出し、CSV形式で出力するperlスクリプトです。

scraperコマンド、矢印キーで履歴検索可に。

$ sudo apt-get install libterm-readline-gnu-perl

タイトルとリンクを取得する例

my $scraper = scraper {
  process '//td/small/a',
    'result[]' => { 'title' => 'TEXT', 'link' => '@href' };
};

入れ子にして使用。正規表現による抽出、後処理。