資料先傳入CPU還是GPU

2021-10-10 08:59:07 字數 377 閱讀 8051

前幾天開週會的時候,乙個小夥伴提到讀入資料,稱一般的做法是:先把dataset讀到cpu上,然後gpu唯讀每個batch的資料,這樣gpu就不會報記憶體不足了。我一聽,說的有道理啊,但是仔細一想我平時好像不是這樣做的。

硬體條件不同造成的。

①小夥伴學校的硬體資源只擁有一塊gpu,所以他要保證不能因為他乙個人把所有gpu的資源都占用了,分批次讀入gpu

②我學校的硬體配置是8塊gpu只有一塊cpu,用一塊cpu控制其它gpu的運轉,如果把資料都讀入cpu的話,會影響到其它gpu的正常執行(估計會被老師罵),所以我一般都是直接把資料讀入gpu

根據自己的硬體條件選擇入讀資料的方式,另:先讀入cpu再傳入gpu,兩者之間的互動耗費的時間會不會很多?(之後有時間再深入了解,測試一下)

先刪快取還是先刪資料庫

在論壇上看到好多人說先刪除快取在更新資料庫,這種邏輯是錯誤的,第一種情況先刪快取在刪資料庫 在多執行緒環境下,當乙個執行緒把快取刪掉之後,另乙個執行緒都快取,都不到快取就會直接讀庫,讀到資料後就會更新快取,先前的執行緒呢,才更新資料庫,會造成快取髒讀的情況,很容易產生快取髒讀。第二種情況先刪資料庫再...

先刪資料庫還是先刪快取

先刪快取再刪資料庫 在高併發的情況下會導致快取擊穿 快取沒有執行緒全部訪問資料庫造成壓力過大 當第乙個執行緒進來刪除快取,第二個執行緒進來快取沒有查詢資料庫然後更新快取,第乙個執行緒更新資料庫,造成髒讀。先刪資料庫再刪快取 當乙個執行緒進來更新資料庫,另乙個執行緒進來讀取快取,然後第乙個執行緒更新快...

快取 先資料庫還是先快取 2

到底是先運算元據庫還是先操作快取,取決於哪種方案可以避免資料不一致,或者資料不一致的概率更低。下面的分析會基於cache aside策略展開,為什麼基於cache aside策略,請檢視博文 快取更新策略 先快取再資料庫的方案,在併發讀寫情況下,會出現資料不一致的情況,如下圖所示。而且,這種不一致情...