Python Seleniumのログインが必要なサイトをCookieを利用してスクレイピングしたい。

※Pythonを学び始めてまだ日が浅く、質問内容に不備不足がありましたら申し訳ありません。

知りたいこと

ログインが必要な不動産情報サイトをスクレイピングするにあたり以下の手順で進めています。

  1. ファイル名「getcookie.py」内でSeleniumを使用してログインとクッキーの取得
  2. ファイル名「geturl.py」内でSeleniumを使用してクッキーの削除と読み込み、ブラウザの操作とURLリストの取得
  3. ファイル名「getlist.py」内でSeleniumを使用してクッキーの削除と読み込み、URLリストのURLにアクセスしてデータを取得

この際、3の処理としては一度サイトTOPページを読み込み、クッキーの処理、
その後driver.get(URL)にて個別ページにアクセスしようとしていますが、該当ページにアクセスするタイミングでクッキーが削除され、ログインページにリダイレクトしてしまいます。
2では、物件情報の条件入力画面、検索結果のリストの画面は上記方法で動いています。

また、この現象はSeleniumのChromedriverでのみ起こり、
手元のChromeブラウザでログイン→URLベタ打ちでのアクセスを試してみたところアクセスできました。
Chromedriverではクッキーを使用せず、ログイン→driver.get(URL)でもアクセスできませんでした。

サイト側で何か制限をかけているのでしょうか??

該当部分のソースコード

getcookie.py

driver.get(target_url) if error_flg is False: try: username_input = driver.find_element(by=By.ID,value='LoginId') username_input.send_keys(USERNAME) password_input = driver.find_element(by=By.ID,value='LoginPass') password_input.send_keys(PASSWORD) driver.find_element(by=By.ID,value='login-btn').click() except Exception: print('ユーザー名、パスワード入力時にエラーが発生しました。') error_flg = True # クッキー取得 pickle.dump(driver.get_cookies() , open("cookies.pkl","wb"))

geturl.py

driver.get(toppage_url) # クッキー処理 driver.delete_all_cookies() cookies = pickle.load(open("cookies.pkl", "rb")) for cookie in cookies: driver.add_cookie(cookie) # URLにアクセス driver.get(target_url)

getlist.py

try: driver.get(toppage_url) # クッキー処理 driver.delete_all_cookies() cookies = pickle.load(open("cookies.pkl", "rb")) for cookie in cookies:   driver.add_cookie(cookie) # URLにアクセス driver.get(target_url) except Exception: print('取得済みクッキーの読み込み・書き込み時にエラーが発生しました。') error_flg = True

コメントを投稿

0 コメント