hadoop綜合大作業

hadoop綜合大作業要求：

詞頻統計的截圖如下：

上次我所使用的文章是一篇中文文章，所以這次我用了一篇英文文件來進行分詞，大致的流程與上次的操作差不多。

這是啟動hadoop的畫面。

啟動hive的畫面

這是整篇英文文章讀取出來後的結果。

2.用hive對爬蟲大作業產生的csv檔案進行資料分析，寫一篇部落格描述你的分析過程和分析結果。

這個檔案是之前爬蟲得到的csv檔案，由於資料量比較大，我就只擷取了所有資料的前100條，在之後我就將這個檔案傳到了hadoop上面去，在我打算將它用hive新生成的檔案顯示出來的時候，結果顯示的是亂碼，如下圖所示：

我在網上查閱了很多資料，可能是編碼的問題，但是參照網上的那些改變編碼的語句，結果還是與原來一樣，不知道是因為檔案在傳至hadoop的過程中編碼的問題還是hive新建表出現錯誤。最後我還是採用了與之前一樣的方法，新建乙個txt文件，把資料放進裡面，傳到hadoop上面，然後把資料顯示出來。

新建乙個txt文件。

將文字中的內容顯示出來。