大家好
目前我寫的 midjourney 爬蟲遇到問題，想請教一下如何解決
環境是租來的 vps (主機在美國)
os 是 ubuntu 22.04
爬取的步驟是先透過 get 程式如下
https://gist.github.com/HankChangGSS/8e45d1e2b836923c30118e762a59f530
透過上述回傳的 html
拆解出 form id="challenge-form" 其中的 action 位置 以及
input
發出請求的程式如下
https://gist.github.com/HankChangGSS/c0732ba1e85e8ed3c5e86af2389b1fed
但是此段程式的回傳不符預期
我期望得到的回傳是能夠像人工開啟瀏覽器，訪問
https://www.midjourney.com/showcase/recent/
其中會有回傳以下區段
<script id="__NEXT_DATA__" type="application/json">
以便後續能剖析 json 裡面的資料
但目前用程式來發送請求，不知程式的寫法哪裡有問題，
導致 server 回傳上述的 json 資料?