【初心者向け】サイト情報をウェブスクレイピングして解析してみよう!
情報解析をするため
- サイトにある各ランキング情報を一覧で取得したい。
- サイトにある売れ筋のレビュー情報をまとめて抽出したい。
- サイトにある全ての商材別の価格帯を知りたい。
そのようにお考えではありませんか?
本記事では、下記の内容を解説します。
目次
- 1. スクレイピングの基礎
私は自動化をして年1000時間の削減ができました。手法の1つを紹介します。
スクレイピングの基礎
ウェブスクレイピングとは、サイトから特定の情報を抽出する技術のこと
ウェブスクレイピングのメリットは、
ブラウザに見えているデータであれば取得可能で、必要なデータに絞って取得できることです。
HTMLのタグの要素の位置を把握して情報を取得します。
ウェブスクレイピングの注意点を紹介します。
- サーバーの負荷の増加はやめよう。
- 取得したデータの2次利用はやめよう。
- サイトのサービス規約をよく読むこと。
節度と倫理が大切です。
ウェブスクレイピングの代表的な取得方法を比較
私が使っている3選を紹介します。個人的な意見ですので参考程度ですが、以下の方法があります。
方法 | 操作性 | 難易度 | 方法 | |
① | Excel | △ | × | いつも隣にITのお仕事 https://tonari-it.com/ie-setting-navigate/ |
② | Python | × | △ | 侍ブログ https://www.sejuku.net/blog/51241 |
③ | Uipath | 〇簡単 | 〇簡単 | 下記で紹介します。 |
UipathでWebスクレイピングをする方法
まず、Uipathをインストールします。
Uipathサイトへ飛びますのでインストールください。
事前にWEBブラウザを操作するための拡張機能を追加します。
起動して拡張機能を追加してください。
試用版で透かしが入っているため少し見ずらいかもしれません。