IT notes

  • Home
  • アプリ
  • VPS
  • API
  • ASP
  • Tags
  • popular

You are here

Home

コマンドラインでWebページのURLを抽出する方法

Nid: 710
紛失したandroidの所在を確認する方法 ...
  • Posted on: 18 May 2016
  • By: claire_gill
url
curl
lynx
  • lynx
$ lynx -dump "http://octaviadata.com" | grep -o 'http[s]*://.*'
  • curl
$ curl "http://octaviadata.com" 2>&1 | grep -o -E 'href="([^"#]+)"' | cut -d'"' -f2
これでは行内に複数のhrefがある場合に、データを失う。
関連記事: 
scraperを使用して、タイトルとURLを抽出してCSV出力する汎用perlスクリプト

関連記事

  • flickrAPIから画像情報を取得し、JSON出力
  • curlでダウンロード
  • curlでredirect先のurlを取得
  • Google Places APIを利用して取得したJSON形式の詳細データをjqでCSVに変換
  • フィールドを指定してAPIから取得した都道府県JSONデータを、jqコマンドでラベルをつけてJSONデータとして再出力する方法
  • コマンドラインからスクレイピングする方法
  • curl でログインしてスクレイピングする方法
  • ダウンロードして指定ディレクトリに解凍する
  • 圧縮・解凍コマンド
  • hxselectでhtmlからaタグの中身とhrefの値を取得
  • URLをまとめて短縮
  • コマンドラインでURLをエンコード・デコードする方法
Copyright © 2025, IT notes. Theme by Devsaran
grape