Python クローリング&スクレイピング Vol.20 – 不特定多数のWebサイトのクローリング

こんばんは!
T.R.Imaginationの北野です!

Python クローリング&スクレイピング
今回は第6章「フレームワーク Scrapy」の中の

6.7 クローリングによるデータの収集と活用
6.7.2 不特定多数のWebサイトのクローリング
6.7.3 Elasticsearchによる全文検索
を読みました!

Macの環境にhomebrewを使ってElasticsearchをインストール
brew install elasticsearch

Elasticsearchのプラグインanalysis-kuromojiのインストール
elasticsearch-plugin install analysis-kuromoji

このanalysis-kuromojiのインストールでエラー発生!
ERROR: attempted to install release build of official plugin on snapshot build of Elasticsearch

ググって調べて、ZIPファイルを直接指定してやったらインストールできました!
elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-kuromoji/analysis-kuromoji-7.8.1.zip

BottleというWebアプリケーションフレームワークを使って、ブラウザアクセスしてPythonを実行する方法も学べました!

なかなか楽しいパートでした!