トップ > GAS > Web・データ取得 > 複数ページのタイトルと見出しを自動で集める

複数ページのタイトルと見出しを自動で集める

GAS(Google Apps Script)(UrlFetchAppでWebページを取得する)

自社サイトや管理しているページが増えると、「各ページのタイトルと見出しを一覧で確認したい」が起きます。1ページずつ開いて写すのは大変です。このレシピでは、GAS(Google Apps Script)の UrlFetchApp で設定したURLのページを取得し、タイトル(title)と見出し(h2)を抜き出してシートに行追加します。相手のサーバーに負担をかけないよう、取得の間に待ち時間を入れる作りにしてあります。使う前の注意点(利用規約の確認など)も必ず読んでください。

✅ これができます:指定した複数のページから、タイトルと見出しを抜き出してシートに一覧として集められるようになります

完成形(実行前 → 実行後)

実行前
実行前
実行後
実行後

実行前(左)は見出し行だけのシート。実行すると(右)、各ページのタイトルと見出しが1行ずつ追加されます

これをコピペすれば動きます

// ===== 設定エリア:変えるのはここだけ =====
// ① 取得したいページのURL(増やすときは後ろに , "URL" を足す)
const TARGET_URLS = ["https://example.com/", "https://example.org/"];
// ② 書き出すシートの名前(無ければ自動で作ります)
const SHEET_NAME = "取得結果";
// ③ 取得の間隔(ミリ秒)。相手のサーバーに負担をかけないための待ち時間
const WAIT_MS = 1000;
// ===== ここから下は変えなくてOK =====
 
function fetchPages() {
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  let sheet = ss.getSheetByName(SHEET_NAME);
  if (!sheet) {
    sheet = ss.insertSheet(SHEET_NAME);
    sheet.appendRow(["取得日時", "URL", "タイトル", "見出し"]);
  }
  TARGET_URLS.forEach(function (url, i) {
    if (i > 0) {
      Utilities.sleep(WAIT_MS);
    }
    var res = UrlFetchApp.fetch(url, { muteHttpExceptions: true });
    var code = res.getResponseCode();
    if (code !== 200) {
      sheet.appendRow([new Date(), url, "取得できませんでした(ステータス:" + code + ")", ""]);
      return;
    }
    var html = res.getContentText();
    var titleMatch = html.match(/<title[^>]*>([\s\S]*?)<\/title>/i);
    var title = titleMatch ? titleMatch[1].trim() : "";
    var headings = [];
    var re = /<h2[^>]*>([\s\S]*?)<\/h2>/gi;
    let m;
    while ((m = re.exec(html)) !== null) {
      headings.push(m[1].replace(/<[^>]+>/g, "").trim());
    }
    sheet.appendRow([new Date(), url, title, headings.join(" / ")]);
  });
  Logger.log("取得が終わりました");
}
(ファイル名:scraping-urlfetch.gs)

コードの黄色い部分が「設定エリア」です。変えるのは、原則ここだけです。

変えるのはここだけ

変える場所を示した図
変えるのは設定エリアの3か所だけ。番号は下の表と対応しています
番号変える場所意味書き方・例
1TARGET_URLS取得したいページのURLの並びダブルクォートで囲んだURLをカンマで区切って並べます。まずは自分のサイトや example.com のような試してよいページから始めてください
2SHEET_NAME書き出すシートの名前無ければ見出し行付きで自動で作られます。結果は行追加されていくので、実行履歴が残ります
3WAIT_MS取得の間隔(ミリ秒)初期値は 1000(1秒)。相手のサーバーへの負担を避けるための待ち時間です。短くしすぎないでください

組み込み手順

  1. 取得対象のサイトの利用規約を先に確認します。自動取得が禁止されているサイトでは、このレシピを使わないでください
  2. 結果を書き出すスプレッドシートを開き、「拡張機能」→「Apps Script」でスクリプトエディタを開きます
  3. 最初から入っているコードを消して、このページのコードを貼り付けます
  4. 設定エリアの①に、取得したいページのURLを書き換えます。最初は1〜2件で試してください
  5. 関数 fetchPages を選んで「実行」を押します。初回は承認の画面が出ます(下の『初回実行時の承認』参照)
  6. ②のシートに、取得日時・URL・タイトル・見出しの行が追加されれば成功です

⚠ スクリプトエディタの開き方:スプレッドシートのメニュー「拡張機能」→「Apps Script」で開きます。開いた画面の「コード.gs」に、最初から書いてあるサンプル(function myFunction() ...)を消してから、このページのコードを貼り付けてください。プロジェクト名は、後で見て分かる名前(例:シートのバックアップ)に変えておくと、承認画面でも迷いません。

⚠ 初回実行時の承認(必ず出ます):初めて実行すると「承認が必要です」と出ます。自分のGoogleアカウントを選ぶと、「このアプリは確認されていません」という警告画面になりますが、これは自分で作ったスクリプトでも必ず出る正常な画面です。慌てずに「詳細」を押し、出てきた「(プロジェクト名)に移動」を押して、アクセス内容を確認してから「許可」を押してください。許可する相手は、自分の作ったスクリプトだけにしてください。

動かし方

スクリプトエディタで fetchPages を実行するだけです。結果はシートに下方向へ追加されていくので、定期的に実行すれば、タイトルや見出しの変化を履歴として追えます。

カスタマイズ例

h1も一緒に取りたい

見出しを抜く正規表現の h2 の部分を h1 に変えた処理を足すと、h1も取得できます。タイトル・h1・h2を並べると、ページ構成の確認がしやすくなります。

実行のたびにまっさらな一覧にしたい

シートを作る処理の後に sheet.clear() を足し、見出し行を書き直す形にすると、最新の一覧だけが残ります。履歴を残したいか、一覧だけがよいかで選んでください。

文字化けするページがある

res.getContentText() に文字コードを指定する方法があります。Shift_JISのページなら getContentText("Shift_JIS") のように変えてください。

つまずきどころ

関連レシピ

次はこれ:宛先リストからGmailの下書きを一括作成する
集めた情報を、次はメール作成の自動化につなげてみましょう

よくある質問

Q. 相手のサイトに負荷はかかる?

A. 通常のページ表示と同じ取得を、間隔を空けて行う作りです。ただし短時間に大量の取得は負荷になります。件数は必要最小限にし、③の間隔を守ってください。

Q. ログインが必要なページの情報は取れる?

A. 取れません。この方法は公開ページの取得専用です。ログイン状態を引き継ぐ仕組みはありません。

Q. IMPORTXML関数で済む場合との違いは?

A. 関数で済む単発の取得なら、関数の方が簡単です。このレシピは、複数ページをまとめて処理したい、履歴として残したい、定期実行したい場合に向いています。

PR(広告)

もっと体系的に学びたい人へ
GoogleスプレッドシートとGASを体系的に学ぶなら、講座で一気に学ぶのが近道です。

Udemy:Googleスプレッドシート入門講座を見る