Webスクレイピングは、Pythonを使ってウェブページから必要なデータを効率よく収集する技術です。商品価格の比較やニュースデータの収集など、さまざまな分野で活用されています。
本記事では、初心者向けにWebスクレイピングの基礎から実践までを解説します。Pythonの主要ライブラリであるBeautifulSoupとRequestsを使ったシンプルな例から、注意点や応用方法までカバーします。
目次
1. Webスクレイピングとは
1.1 基本概念
Webスクレイピングとは、プログラムを使ってウェブサイトから情報を自動的に取得する技術です。次のような場面で役立ちます：
- 価格比較: 商品価格を複数のサイトから収集して比較。
- データ分析: トレンド情報や記事データの収集。
- 研究目的: 公共データの収集や統計分析。
1.2 注意点
Webスクレイピングを行う際は、以下を守りましょう：
- 利用規約の確認: 対象サイトの利用規約に違反しないこと。
- 負荷をかけない: アクセス間隔を設け、過剰なリクエストを避ける。
- 法的リスク: 利用目的が商業的な場合、法的リスクを検討する。
2. 環境準備
2.1 必要なライブラリのインストール
Pythonを使ったWebスクレイピングで必要なライブラリをインストールします。
pip install beautifulsoup4 requests3. 基本操作：HTML構造の解析
3.1 ウェブページを取得
まずは、ターゲットページのHTMLを取得します。
import requests
url = "https://example.com"
response = requests.get(url)
print(response.text) # ページのHTMLを表示3.2 BeautifulSoupでHTMLを解析
取得したHTMLを解析し、データを抽出します。
from bs4 import BeautifulSoup
html = response.text
soup = BeautifulSoup(html, "html.parser")
# タイトルを取得
title = soup.title.string
print("ページタイトル:", title)4. 実践：記事タイトルの抽出
以下は、ウェブページから記事タイトルを取得する例です。
import requests
from bs4 import BeautifulSoup
url = "https://example.com/articles"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
# 記事タイトルを取得
titles = soup.find_all("h2")
for idx, title in enumerate(titles, start=1):
print(f"{idx}: {title.string}")5. ユーザーエージェントを設定する方法
一部のウェブサイトでは、プログラムによるアクセスがブロックされることがあります。その場合、ブラウザと同じUser-Agentを設定することで解決できます。
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)注意点
- 法的に問題ない範囲で使用: サイトの利用規約を確認する。
- 負荷を避ける: 適切な間隔を設ける（例: 1秒以上の遅延）。
6. 応用：動的なページのスクレイピング
JavaScriptで動的に生成されるデータを取得するには、Seleniumのようなツールを使用します。
pip install selenium以下は基本的な例です：
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://example.com")
# ページ内の要素を取得
element = driver.find_element_by_tag_name("h2")
print(element.text)
driver.quit()7. 参考リンク
まとめ
Webスクレイピングは、データ収集を効率化する強力なスキルです。初心者向けにPythonの基本ツールを活用し、法的・倫理的な注意を守りながら、自分のプロジェクトに役立てましょう。
コメント