成人在线亚洲_国产日韩视频一区二区三区_久久久国产精品_99国内精品久久久久久久

您的位置:首頁技術文章
文章詳情頁

java - 爬蟲爬取圖片問題?

瀏覽:114日期:2023-10-31 08:12:21

問題描述

剛才修改了下 POM,大家可以重新下載源碼

這是我寫的爬蟲的項目地址 項目不報錯,但是問題是下載圖片到本地后經(jīng)常性的是圖片不完整,如下:java - 爬蟲爬取圖片問題?

這是下載圖片的核心代碼,如下:

@Override public void run() {Response res = null;try { res = Jsoup.connect(src).ignoreContentType(true).timeout(30000).execute(); byte[] bytes = res.bodyAsBytes(); File file = new File(path + name); if (!file.exists()) {RandomAccessFile raf = new RandomAccessFile(file, 'rw');raf.write(bytes);raf.close(); }} catch (IOException e1) { e1.printStackTrace();} }

經(jīng)過資料查詢,感覺是范圍請求 Range的問題或者自己沒發(fā)現(xiàn)的問題?希望大家給看下,謝謝

問題解答

回答1:

感覺是響應數(shù)據(jù)沒獲取完整,你debug一下看看響應的實際數(shù)據(jù)大小和你保存的數(shù)據(jù)大小是否有出入。

又或者因為還有一部分數(shù)據(jù)還在緩沖區(qū)中,沒來得及寫到文件,此時進程退出,導致數(shù)據(jù)不完整,關閉文件流之前執(zhí)行一下flush操作。

標簽: java
相關文章: