日期：2020.01.15
部落格期：124
星期三嗯，把這幾天學習進度彙總一下：
1、csv檔案、xml檔案、json檔案的處理整合
2、資料爬取詳細資訊
嗯，爬取的話，現在是只能爬取一頁上的所有資訊，沒能做到頁面跳轉繼續向下爬，嗯~這個演算法需要深度研究，但很麻煩~因為我是打算用python爬取的，因為對這個語言進行爬取熟練一些。就算是用其他方法實現了，我也要學會用python，嗯，還不如直接上的好！！！我看了其他部落格的js跳轉，它們僅僅是開啟乙個網頁，然後跳轉，然後... ...呃~然後就沒有然後了，[笑哭]，不能繼續爬了呀！哦！也可能是我沒完全搞懂他們每一步究竟是要做什麼！
3、大資料實驗
大資料實驗現在在做實驗4（實驗3已經完成了），嗯~我看了一下實驗要求，總共7個實驗，好像並沒有說特別難做、費腦筋的那種大問題，所以接下來我就開始準備努力肝實驗了，其他任務應該會放一放。特別是爬取，我連pycharm軟體啟用問題都難以解決，只能每次開啟使用幾分鐘，再重啟。雖然我也希望早點開始爬，但這總歸要先完成一項任務吧，這種做法有利於我肝爬取。
4、《九張羊皮紙》修改器
5、live 2d學習
由於自己玩過某個遊戲用到了live2d技術，引起了博主的強烈興趣，所以博主決定開始「數媒轉型」......才怪，我們系主任不殺了我？我就是想多掌握一些小技術，自己將來就業、工作的時候，說不定真的有用！呃~我打算先從ps的基本使用開始學起吧。
大三寒假學習進度記錄02
掌握tensorflow的簡單操作 1.建立專門執行環境，開啟終端模擬器，為anaconda建立乙個python3.5 或者3.6都行，隨便 的環境，環境名稱為tensorflow 在命令列中輸入下面命令 view plain copy conda create n tensorflow 2.啟動t...
寒假學習進度
今天就是踐行spark的安裝了。安裝spark 配置檔案spark env.sh 驗證spark是否安裝成功。grep 命令進行過濾。下面是關於hdfs的命令 上傳檔案 hdfs dfs put src dest 從本地的src位置上傳到hdfs的dest位置,src可以有多個,空格隔開 複製檔案 ...
寒假學習進度
rdd依賴關係 1 rdd 血緣關係 val filerdd rdd string sc.textfile input 1.txt println filerdd.todebugstring println val wordrdd rdd string filerdd.flatmap split p...