成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置：首頁技術(shù)文章
文章詳情頁

python爬取頁面時(shí)，一個(gè)URL無法訪問導(dǎo)致報(bào)錯(cuò)，然后跳過這個(gè)報(bào)錯(cuò)繼續(xù)抓取？

瀏覽：82日期：2022-09-13 09:16:56

問題描述

1.抓取到一個(gè)錯(cuò)誤的URlpython爬取頁面時(shí)，一個(gè)URL無法訪問導(dǎo)致報(bào)錯(cuò)，然后跳過這個(gè)報(bào)錯(cuò)繼續(xù)抓取？

python爬取頁面時(shí)，一個(gè)URL無法訪問導(dǎo)致報(bào)錯(cuò)，然后跳過這個(gè)報(bào)錯(cuò)繼續(xù)抓取？

2.我的比蠢笨的辦法：

python爬取頁面時(shí)，一個(gè)URL無法訪問導(dǎo)致報(bào)錯(cuò)，然后跳過這個(gè)報(bào)錯(cuò)繼續(xù)抓取？python爬取頁面時(shí)，一個(gè)URL無法訪問導(dǎo)致報(bào)錯(cuò)，然后跳過這個(gè)報(bào)錯(cuò)繼續(xù)抓取？

問題解答

回答1：

curl里面有個(gè)可以設(shè)置返回header的，如果取到的數(shù)據(jù)非200狀態(tài)，直接跳過處理就好了。

標(biāo)簽： Python 編程