テーマ、知りたいこと
スクレイピングのオーバーアクセスを防ぐ方法
背景、状況
lambdaでスクレイピングをしています。
サーバーダウンをさせないことが必要かと思います。
現在、私の環境では非同期反映されるサイトのスクレイピングにtime.sleep()でサーバーダウンを起こさないように直接、時間を置いています。
time.sleepが最も良い方法だと思いますか。
補足追加
基本はseleniumのメソッドで--of_all_element_locatedなどを使用しています。
time.sleepで時間を置く場合どの程度の時間を置いていますか。私の環境では3秒の待機時間をかけています。
0 コメント