GASで動的サイトのwebスクレイピング

実現したいこと

https://teideninfo.tepco.co.jp/day/teiden/index-j.html
東電の停電情報から前日(2024年5月28日)の停電情報を取得したい。

発生している問題・分からないこと

メイン関数を実行すると本日(2024年5月29日)の停電情報しか取得できない。

GASで不可能な場合、可能な方法がありましたら教えていただけますと幸いです。

該当のソースコード

GAS(main)

1function main() { 2 let html=phantomJSCloud('https://teideninfo.tepco.co.jp/day/teiden/index-j.html'); 3 console.log(html); 4}

GAS(phantomJSCloud)

1function phantomJSCloud(URL) { 2 3 let key = "phantomJSCloudで取得したAPIキー"; 4 5 //HTTPSレスポンスのオプション項目を設定する 6 let option = 7 { 8 url:URL, 9 renderType:"HTML", 10 outputAsJson:true 11 }; 12 13 //オプション項目をJSONにしてエンコードする 14 let payload = JSON.stringify(option); 15 payload = encodeURIComponent(payload); 16 17 //PhantomJsCloudのAPIリクエストを行うためのURLを設定 18 let apiUrl = "https://phantomjscloud.com/api/browser/v2/"+ key +"/?request=" + payload; 19 // console.log(apiUrl); 20 let response = UrlFetchApp.fetch(apiUrl); 21 // console.log(response); 22 let json = JSON.parse(response.getContentText()); 23 // console.log(json); 24 let source = json["content"]["data"]; 25 return source; 26}

試したこと・調べたこと

上記の詳細・結果

https://boook24.com/?p=1462
PhantomJsCloud GASで動的ページをスクレイピングを参考にした。

補足

特になし

コメントを投稿

0 コメント