文章詳情頁
java - hadoop數據查找
瀏覽：159日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. android - weex 項目createInstanceReferenceError: Vue is not defined2. android - 哪位大神知道java后臺的api接口的對象傳到前端后輸入日期報錯，是什么情況？求大神指點3. pdo 寫入到數據庫的內容為中文的時候寫入亂碼4. PHPExcel表格導入數據庫怎么導入5. javascript - 如圖，百度首頁，查看源代碼為什么什么都沒有？6. vue2.0+webpack 如何使用bootstrap？7. PHP類封裝的插入數據，總是插入不成功，返回false；8. mac連接阿里云docker集群，已經卡了2天了，求問？9. python - 小白django提交數據后，沒有存儲到數據庫（查閱資料并沒有發現問題）10. javascript - 前端開發框架express，在他的模板引擎下怎么給按鈕添加綁定事件？
排行榜
網公網安備