こんばんは!
T.R.Imaginationの北野です!
Python クローリング&スクレイピング
今回は第6章「フレームワーク Scrapy」の中の
6.7 クローリングによるデータの収集と活用
6.7.2 不特定多数のWebサイトのクローリング
6.7.3 Elasticsearchによる全文検索
を読みました!
Macの環境にhomebrewを使ってElasticsearchをインストールbrew install elasticsearch
Elasticsearchのプラグインanalysis-kuromojiのインストールelasticsearch-plugin install analysis-kuromoji
このanalysis-kuromojiのインストールでエラー発生!ERROR: attempted to install release build of official plugin on snapshot build of Elasticsearch
ググって調べて、ZIPファイルを直接指定してやったらインストールできました!elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-kuromoji/analysis-kuromoji-7.8.1.zip
BottleというWebアプリケーションフレームワークを使って、ブラウザアクセスしてPythonを実行する方法も学べました!
なかなか楽しいパートでした!