【初心者向け】サイト情報をウェブスクレイピングして解析してみよう!

情報解析をするため

  • サイトにある各ランキング情報を一覧で取得したい。
  • サイトにある売れ筋のレビュー情報をまとめて抽出したい。
  • サイトにある全ての商材別の価格帯を知りたい。

そのようにお考えではありませんか?

本記事では、下記の内容を解説します。

目次

  • 1. スクレイピングの基礎

私は自動化をして年1000時間の削減ができました。手法の1つを紹介します。

スクレイピングの基礎

ウェブスクレイピングとは、サイトから特定の情報を抽出する技術のこと

ウェブスクレイピングのメリットは、

ブラウザに見えているデータであれば取得可能で、必要なデータに絞って取得できることです。

HTMLのタグの要素の位置を把握して情報を取得します。

ウェブスクレイピングの注意点を紹介します。

  • サーバーの負荷の増加はやめよう。
  • 取得したデータの2次利用はやめよう。
  • サイトのサービス規約をよく読むこと。

節度と倫理が大切です。

ウェブスクレイピングの代表的な取得方法を比較

私が使っている3選を紹介します。個人的な意見ですので参考程度ですが、以下の方法があります。

方法操作性難易度方法
Excel×いつも隣にITのお仕事
https://tonari-it.com/ie-setting-navigate/
Python×侍ブログ
https://www.sejuku.net/blog/51241
Uipath〇簡単〇簡単下記で紹介します。

UipathでWebスクレイピングをする方法

まず、Uipathをインストールします。


Uipathサイトへ飛びますのでインストールください。

事前にWEBブラウザを操作するための拡張機能を追加します。


起動して拡張機能を追加してください。

試用版で透かしが入っているため少し見ずらいかもしれません。