文章詳情頁
python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據？
瀏覽：130日期：2022-08-10 17:31:34
問題描述
請求所需參數全部帶上了，并且已帶上cookies,已修改header，拿到的數據是提示刷新的HTML，如圖：
原網頁是動態加載的瀑布流，即往不斷下拉就不斷有內容呈現出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態加載的數據你應該找ajax api請求，而不是在網頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內容然后進行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關文章：
1. docker 下面創建的IMAGE 他們的 ID 一樣？這個是怎么回事？？？？2. 在應用配置文件 app.php 中找不到’route_check_cache’配置項3. javascript - 關于mongose刪除一次多個字段的問題4. 微信瀏覽器怎么取消緩存？5. javascript - vue-cli與后端框架集成config/index.js配置問題6. javascript - 為什么我無法通過$stateParams在父子State之間傳遞參數？跟State之間的父子關系有關嗎？7. 關于layuiadmin中表格按鈕提交問題求解！！！！8. html按鍵開關如何提交我想需要的值到數據庫9. css - BEM 中塊(Block)有木有什么標準 何時決定一個部分提取為塊而不是其父級的元素呢(Element)?~10. html5 - 用Egret寫的小游戲，怎么分享到微信呢？
排行榜
網公網安備