Pandas提速方案

2021-10-04 19:18:16 字數 757 閱讀 7437

1.read_csv 的engine設定為c:

pd.read_csv(filename, engine='c')

使用的分析引擎。可以選擇c或者是python。c引擎快但是python引擎功能更加完備。

2.read_csv 的usecols指定:

在資料分析過程中有些表字段對我們來說是沒有用的,不必要載入,這樣可以提公升pandas檔案速度。

3.處理載入檔案過程中日期轉換問題:

正常可以用pandas中to_datetime方法轉換,直接使用該方法轉換會很耗時。用之前需要指定一下時間的格式。這樣速度可以成倍提公升。

4.還可以使用modin庫:

pandas執行在乙個核心上,modin可以執行在多個核心上,從本質上講,modin 所做的只是增加了 cpu 所有核心的利用率,從而提供了更好的效能。這個庫其實也很雞肋,當你的資料量大到一定的量時這個庫才會展現比較好的效果,不然還沒有pandas快。

5.使用多執行緒:

這裡不建議使用多執行緒,因為read_csv載入檔案可以充分利用單核cpu。還有載入檔案的過程中不光是io操作,還有很多cpu密集操作。

6.使用多程序:

在以上效果達不到要求的時候就可以使用多程序了。

為 PHP 應用提速 提速 再提速

php 是一種指令碼語言,常用於建立 web 應用程式。它易於掌握,並能迅速生成視覺化結果。這個系列文章將 php 優化主題,會談及操作碼快取 除錯 快速正文搜尋 交替 web 伺服器等內容。同時,還將研究乙個或多個 php 加速器和操作碼優化器。實現 10 到 200 的效能提公升只需幾個小時的優...

Windows XP 啟動提速

首先,開啟 系統屬性 在我的電腦上點右鍵 屬性,或者在控制面板裡開啟 系統 快捷鍵win pause break 點 高階 選項卡,如圖1,在 啟動和故障恢復 區里開啟 設定 如圖2,去掉 系統啟動 區里的兩個 如果是多系統的使用者保留 顯示作業系統列表的時間 的 點 編輯 確定啟動項的附加屬性為 ...

ASP提速技巧

技巧之一 提高使用request集合的效率 訪問乙個asp集合來提取乙個值是費時的 占用計算資源的過程。因為這個操作包含了一系列對相關集合的搜尋,這比訪問 乙個區域性變數要慢得多。因此,如果打算在頁面中多次使用request集合中的乙個值,應該考慮將其存貯為乙個區域性變數。例如將 寫成下面的形式以加...