文章詳情頁
python - scrapy 爬取pages比實際進入items的多得多？
瀏覽：106日期：2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items里沒有幾條數據入庫的有什么辦法解決么？
問題解答
回答1：重定向了，你看到了吧，重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發生了錯誤。
相關文章：
1. android - weex 項目createInstanceReferenceError: Vue is not defined2. PHPExcel表格導入數據庫怎么導入3. android - 哪位大神知道java后臺的api接口的對象傳到前端后輸入日期報錯，是什么情況？求大神指點4. javascript - 如圖，百度首頁，查看源代碼為什么什么都沒有？5. pdo 寫入到數據庫的內容為中文的時候寫入亂碼6. vue2.0+webpack 如何使用bootstrap？7. PHP類封裝的插入數據，總是插入不成功，返回false；8. docker綁定了nginx端口 外部訪問不到9. mac連接阿里云docker集群，已經卡了2天了，求問？10. ddos - apache日志很多其它網址，什么情況？
排行榜
網公網安備