Cloud9 Webスクレピング・クローロングの環境構築

自宅で学べるオンラインのプログラミングスクール TechAcademy

Cloud9にWebスクレピング・クローロングの環境構築する方法を解説。

インストールするライブラリフレームワーク

• Beautiful Soup：スクレイピング用ライブラリ
• Selenium：ブラウザの操作、データ取得ができるライブラリ
• Scrapy：多機能な総合フレームワーク

Beautiful Soup のインストール方法

↓Beautiful Soup のインストール

pip install beautifulsoup4
Downloading/unpacking beautifulsoup4
 Downloading beautifulsoup4-4.6.3-py3-none-any.whl (90kB): 90kB downloaded
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4
Cleaning up...

 ↓Beautiful Soup のインストール確認

pip show beautifulsoup4
---
Name: beautifulsoup4
Version: 4.6.3
Location: /usr/local/lib/python3.4/dist-packages
Requires:

Selenium のインストール方法

↓Seleniumのインストール

sudo pip install selenium
Downloading/unpacking selenium
 Downloading selenium-3.141.0-py2.py3-none-any.whl (904kB): 904kB downloaded
Requirement already satisfied (use --upgrade to upgrade): urllib3 in /usr/lib/python3/dist-packages (from selenium)
Installing collected packages: selenium
Successfully installed selenium
Cleaning up...

↓インストール確認

pip show selenium
---
Name: selenium
Version: 3.141.0
Location: /usr/local/lib/python3.4/dist-packages
Requires: urllib3

Scrapy の インストール方法

↓Scrapyのインストール

pip install Scrapy