在伺服器資源豐富的情況下,可以啟用多程序加速大規模資料的處理過程。定義基礎func功能函式:輸入乙個數,輸出其平方結果。本節以demo展示,輸入1000個數組成的列表,以列表的形式對應輸出其平方結果。
開啟10個程序,每個程序執行一遍func函式。
設定1000次迴圈,每次迴圈呼叫乙個程序,執行一步func功能。
import multiprocessing as mp
def func(x):
return x**2
def generate_data(size):
return list(range(size))
def muilt_process(input_list):
pool = mp.pool(processes=10) #10個程序
result =
for x in input_list:
print ("the main's mark")
pool.close()
pool.join()
print ("all's done!")
return [i.get() for i in result] #注意每個程序返回的結果需要執行.get方法獲取數值
if __name__== "__main__":
print(muilt_process(generate_data(100)))
swoole多程序實現demo
php大任務劃分成多個小任務 體驗多程序的美,提高5倍效能 將迴圈執行的任務,劃分為多個程序執行,提高工作效率 假設我們現在有乙個通過curl抓取網頁內容的需求,需要抓取10個網頁,url位址通過陣列讀取,每個curl耗時2s。如果我們通過for迴圈來抓取這10個網頁,需要耗時20s,使用多程序我們...
python 多程序併發demo
下午需要簡單處理乙份資料,就直接隨手寫指令碼處理了,但發現效率太低,速度太慢,就改成多程序了 程式涉及計算 檔案讀寫,鑑於計算內容挺多的,就用多程序了 計算密集 import pandas as pd from pathlib import path from concurrent.futures ...
多程序程式設計
linux下乙個程序在記憶體裡有三部份的資料,就是 資料段 堆疊段 和 段 其實學過組合語言的人一定知道,一般的cpu象i386,都有上述三種段暫存器,以方便作業系統的執行。段 顧名思義,就是存放了程式 的資料,假如機器中有數個程序執行相同的乙個程式,那麼它們就可以使用同一 個 段。堆疊段存放的就是...