動的なウェブサイトのスクレイピングについて、ボタンをクリックして記事を新たに表示するタイプのウェブサイト

①行いたいこと：https://thebridge.jp/?s=%E8%B3%87%E9%87%91%E8%AA%BF%E9%81%94&post_type=post
のウェブサイトの各記事のタイトルとURLをスクレイピングして取得したいと考えています。

②困っていること：ウェブサイトの下部に「次の記事」というボタンがあり、このボタンをクリックすることで記事が表示されるようになっています。for関数を使ってすべての記事を表示してからスクレイピングをしようと考えているのですが、何回クリックすればよいかわかりません。

③解決したいこと：すべての記事を表示するために必要なクリックの回数の調べ方、またはクリックしなくてもスクレイピングできる方法をご教授いただきたい。

③使用環境：PC→windows11
python→3.10.5
jupyter lab→3.4.3
BeautifulSoup4

④書き込んだコード

python

browser = webdriver.Chrome()browser.get("https://thebridge.jp/?s=%E8%B3%87%E9%87%91%E8%AA%BF%E9%81%94&post_type=post")elem_next_btn = browser.find_element(by="id",value="loadmore")for i in range(5): elem_next_btn.click() time.sleep(4)