文章詳情頁
python爬蟲防封IP的方法應該放到代碼的哪個位置
瀏覽：114日期：2022-09-21 13:56:12
問題描述
想要爬豆瓣電影，但是很容易403，就想代理IP或者修改請求頭，但是看了很多資料，不知道他們那些代碼應該放到整個程序的哪個位置，我用的是美麗湯和request，應該增添什么代碼，增添到什么位置
問題解答
回答1：BeautifulSoup的中文名原來叫美麗湯。。。
吐槽完畢，服務端一般是通過IP報文來檢測請求的IP的地址的，所以單純的修改HTTP請求的內容一般來說是不起作用的，最好的方式是使用 Requests 的代理功能來進行訪問，可以解除 IP 限制的問題。
回答2：請看看Python爬蟲聯想詞視頻和代碼https://zhuanlan.zhihu.com/p/...
跟黃哥學Python爬蟲抓取代理IP和驗證。https://zhuanlan.zhihu.com/p/...跟黃哥學Python爬蟲抓取代理IPhttps://zhuanlan.zhihu.com/p/...
相關文章：
1. html5 - h5寫的app用的webview，用手機瀏覽器打開不顯示？2. node.js - nodejs如何定時不停的向某個文件寫入3. python sqlite3 長語句插入出錯4. 如何在指定的JSON數據中根據指定條件拿到匹配到的結果？5. 大家好，我想請問一下怎么做搜索欄能夠搜索到自己網站的內容。6. css - 關于svg使用的問題7. java - win10子系統設置環境變量8. bootstrp是col-md-12列的,只有col-md-10有內容,可以讓沒有內容的不占據位置嗎;9. PHP類中的$this10. javascript - 請教如何獲取百度貼吧新增的兩個加密參數
排行榜
網公網安備