スクレイピングアクセスオーバーについて

テーマ、知りたいこと

スクレイピングのオーバーアクセスを防ぐ方法

背景、状況

lambdaでスクレイピングをしています。
サーバーダウンをさせないことが必要かと思います。

現在、私の環境では非同期反映されるサイトのスクレイピングにtime.sleep()でサーバーダウンを起こさないように直接、時間を置いています。

time.sleepが最も良い方法だと思いますか。

補足追加

基本はseleniumのメソッドで--of_all_element_locatedなどを使用しています。
time.sleepで時間を置く場合どの程度の時間を置いていますか。私の環境では3秒の待機時間をかけています。

コメントを投稿

0 コメント