Python クローリング&スクレイピング Vol.24.5 – デバッグの手順 意図したデータが格納されているか確認する

こんばんは!
T.R.Imaginationの北野です!

Python クローリング&スクレイピング
を読み進めていく中で、

前回は「デバッグ中です!」って話で終わってました。

今回は「デバッグ完了しました!」ということで
きちんと動作確認できました。

どういう風にデバッグしたのかを解説させていただきました!

デバッグ対象のコードは、前回の記事に記載している
scraper_tasks.py
です。

そのコードで行っている処理を順番に見て行きました。

ここでデータベースに接続して、
ここでデータベースからデータを取得してる。

きちんとデータの取得ができているんだろうか?
変数の中身をチェックしてみよう。

ということで、
変数の中身を見てみたら、
あれま!
空っぽだわ!

ってな感じで原因に近づくことができました。

何でデータが取得できないのか?

探っていくと、
クローラーのプログラムの方で
保存するときにコレクションの名前を間違えてた(sが1文字多かった)という凡ミス。。

凡ミスを直して、
「よし!これで動くだろう!」
と動かしてみました。

エラーこそ出ないものの、
成果物としてスクレイピングしたデータを保存するコレクションが、、
出来てない。

データが保存されてない。

ありゃ、、
まだ直すところがあるのか、、

という感じでまた探っていったら、
今度は保存するコレクションの名前が
クローリングしたHTMLを保存しているのと同じ名前で指定してたという
これまた凡ミス。。

疲れた状態でコードを打つのはやめましょう
ってことでファイナルアンサーかなと(苦笑

でも、
今回ミスをしたことで、
しっかりコードの内容を確認できたので
すんなり出来上がるよりも理解度は上かなと思います!

怪我の功名!