文章詳情頁
我要在命令行同時不間斷地運行八九個python爬蟲程序(爬不同的網站)?
瀏覽:124日期:2022-08-21 18:56:02
問題描述
但是過一段時間總有一兩個程序會無響應,好像是被掛起了,CPU占用率并不高,不到10%,內存占用也不算多,60%左右,爬蟲程序是去批量下載文件,平均每個幾兆到十幾兆。我設置了這幾個程序的優(yōu)先級高于普通標準,但是還是會出現無響應的狀況。版本 python 2.7
求問:這個問題算不算進程被掛起?以及應該如何解決這個問題?
謝謝!
問題解答
回答1:這種問題得自己調,多打log
回答2:Python 有 GIL
上一條:flask - Python使用redis發(fā)布訂閱時,監(jiān)聽頻道時出現的問題?【一句話描述不清楚,請各位細看內容】下一條:python - django queryset自定義排序問題
相關文章:
1. 跟著課件一模一樣的操作使用tp6,出現了錯誤2. PHP類屬性聲明?3. macos - mac下docker如何設置代理4. javascript - 為何CreateElement之后,在這標簽前插入子節(jié)點,沒用5. javascript - 求助關于call和apply的問題,反柯里化6. 用TP6寫的HTML,我的layui樣式為什么出不來,路徑沒錯,頁面報錯:不允許加載本地資源:fil7. css3怎么讓img上下左右居中8. css3 - 圖文響應式樣式9. css - 手機瀏覽器的兼容問題,微信和其它下載的瀏覽器打開沒有問題,谷歌也測試過,就是手機自帶的瀏覽器有問題。10. javascript - 求助大問題!!!!!這輸出為什么能不一樣
排行榜
