JavaScriptを実行して出力されたHTMLソースを解析した結果をテキストで取得したい

実現したいこと

JavaScriptを実行して出力されたHTMLソースを解析した結果をテキストで取得したい

前提

ある業界用の検索サイトでの検索結果をCSVテキストで取得しようとしています。
pythonによるスクレイピングなどを検討しましたが、
検索結果はJavaScriptを実行結果なのでUrlから直接取得できません。
素人考えですが
chromeなどのブラウザが取得しているHTMLソースを直接か
あるいはPCに保存してgoogleスプレッドシートやPythonなどで
必要なデータをCSV等のテキストで取り出せないかと考えています。

ブラウザ動作をPythonのseleniumなどでログインからトレースするよりも
ブラウザ上で検索結果を表示させてからそれを解析したいのですが
方法があるでしょうか?

コメントを投稿

0 コメント