Cloud9にWebスクレピング・クローロングの環境構築する方法を解説。
インストールするライブラリフレームワーク
- Beautiful Soup:スクレイピング用ライブラリ
- Selenium:ブラウザの操作、データ取得ができるライブラリ
- Scrapy:多機能な総合フレームワーク
Beautiful Soup のインストール方法
↓Beautiful Soup のインストール
pip install beautifulsoup4
Downloading/unpacking beautifulsoup4
Downloading beautifulsoup4-4.6.3-py3-none-any.whl (90kB): 90kB downloaded
Installing collected packages: beautifulsoup4
Successfully installed beautifulsoup4
Cleaning up...
↓Beautiful Soup のインストール確認
pip show beautifulsoup4
---
Name: beautifulsoup4
Version: 4.6.3
Location: /usr/local/lib/python3.4/dist-packages
Requires:
Selenium のインストール方法
↓Seleniumのインストール
sudo pip install selenium
Downloading/unpacking selenium
Downloading selenium-3.141.0-py2.py3-none-any.whl (904kB): 904kB downloaded
Requirement already satisfied (use --upgrade to upgrade): urllib3 in /usr/lib/python3/dist-packages (from selenium)
Installing collected packages: selenium
Successfully installed selenium
Cleaning up...
↓インストール確認
pip show selenium
---
Name: selenium
Version: 3.141.0
Location: /usr/local/lib/python3.4/dist-packages
Requires: urllib3
Scrapy の インストール方法
↓Scrapyのインストール
pip install Scrapy