問題描述

參考： 有一個(gè)1G大小的一個(gè)文件，內(nèi)存限制大小是10M，有序返回頻數(shù)最高的50個(gè)詞，該怎么做？

網(wǎng)上有很多該問題的解決方案，都是用分而治之的思想，提到了遍歷整個(gè)文件。

那么我的問題是：如果單純地逐行讀取大文件，算是把1G文件全都加載進(jìn)內(nèi)存嗎？或者說是讀取大于內(nèi)存的文件應(yīng)該怎么讀？

問題解答

在這里內(nèi)存就像一條管道，逐行讀是把1G文件在內(nèi)存里過一遍而已，10M表示管道的粗細(xì)。所以，逐行讀是把1G文件加載進(jìn)去過內(nèi)存。

try (BufferedReader in = new BufferedReader(new FileReader(file))) { String line; while ((line = in.readLine()) != null) {// parse line }}

file再大，只要每一行的長度有限，整個(gè)文件讀完會(huì)需要不少的時(shí)間，但不會(huì)占用太大的內(nèi)存。

分塊讀，每讀一個(gè)塊一個(gè)結(jié)果集，最后對結(jié)果集聚合處理文本的話，知道行數(shù)會(huì)更好

linux上面有個(gè)指令叫做split可以并發(fā)快速把大文本分割成小的文件,然后處理就方便了呀,這種算法叫做外排序

內(nèi)存就好比草稿紙，寫滿一篇就翻篇。 用過、沒用的數(shù)據(jù)就扔掉了。

簡單舉例，創(chuàng)建一個(gè)變量 buff,設(shè)定好它的大小，打開文件流往里填，填滿以后查你要的內(nèi)容，查到就統(tǒng)計(jì)到另外一個(gè)變量里計(jì)數(shù)。 然后清空buff,繼續(xù)之前讀取的位置再次裝載內(nèi)容…… 直到讀取完畢，統(tǒng)計(jì)也就完成了。

針對不同的系統(tǒng)，都會(huì)提供一個(gè)API來操作大于內(nèi)存的文件，也就是將文件當(dāng)做內(nèi)存來處理：

內(nèi)存映射

mmap

CreateFileMapping