從別人的**裡找到要用的資料的原始資料自己做過濾
搗鼓了兩天覺得**太慢開始用pandas做處理
不得不說最大的感觸就是 pandas 以及numpy在一定程度上在還原matlab
比如matlab中利用邏輯值取數、元素的用法,pandas中有幾乎一樣的方法
test:
同時pandas中有很多很好用的方法,猜測使用了很多雜湊值
但是pandas同numpy一樣,增量新增很慢
也就是pandas適用於 已經確定size的資料的讀取操作非常友好,但是把兩個dataframe合併,是很慢的操作
實際上先做了資料的拷貝再進行的拼接,可想而知是多慢了
總之記住只對dataframe進行讀取就夠啦
最後寫**的時候 對於for迴圈要小心!!!
想清楚這個**是不是在迴圈裡面還是外面!!
把要在迴圈外面的**先寫著!!
比如這次把生成dataframe的兩行**寫了for迴圈裡面
查了好幾遍才發現!! 真的很費時間!!
時間的寶貴使人進步。
加油。
MySQL處理千萬級資料查詢 分頁
mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是乙個基本的新聞系統的簡單模型。現在往裡面填充資料,填...
MySQL處理千萬級資料查詢 分頁
mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是乙個基本的新聞系統的簡單模型。現在往裡面填充資料,填...
MySQL處理千萬級資料查詢 分頁
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是...