文章詳情頁
python - scrapy抓取知網response的內容重復
瀏覽：128日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關文章：
1. 如何解決docker宿主機無法訪問容器中的服務？2. docker 下面創建的IMAGE 他們的 ID 一樣？這個是怎么回事？？？？3. mongodb - Mongo java驅動中，有沒有封裝好的函數，可以直接取到文檔中的某個具體的值，而不是一個文檔？或者有沒有方法實現？？4. 需要一個Java映射/表，其中多個鍵指向一個值。價值通常會改變5. javascript - JS事件委托問題6. javascript - 關于jquery的remove()方法7. JavaScript中怎么理解=、==和===8. java - Spring事務回滾問題9. javascript - vue.js如何遞歸渲染組件.10. 如何修改vim插件vimwiki中Vimwiki2HTML的一些細節
排行榜
網公網安備