大數量匯入資料庫：
def import_data():
"""匯入日線資料
"""#offset：當偏移量大於800萬時，offset limit模式效能下降嚴重，查詢一次要12秒……
#改成直接定位主鍵id查詢。
from_table = bs_profit_data
with concurrent.futures.threadpoolexecutor() as executor:
with session_scope() as session:
onerow = session.query(func.min(from_table.id), func.max(from_table.id)).one()
minid = onerow[0]
maxid = onerow[1]
if not minid: #沒有資料
return
pagesize = 5000
ahead_id = minid
next_id = ahead_id + pagesize
i = 0 #計數
while true:
if ahead_id > maxid:
break
rp = session.query(from_table).filter(from_table.id >= ahead_id, from_table.id < next_id)
to_data = _build_result_data(rp)
executor.submit(_insert_data, to_data, i + 1)
i += 1
ahead_id = next_id
next_id = ahead_id + pagesize
_logger.info("資料匯入完成")
1189 「氣球」 的最大數量
給你乙個字串 text，你需要使用 text 中的字母來拼湊盡可能多的單詞 balloon 氣球 字串 text 中的每個字母最多只能被使用一次。請你返回最多可以拼湊出多少個單詞 balloon 示例 1 輸入 text nlaebolko 輸出 1 示例 2 輸入 text loonbalxbal...
1189 「氣球」 的最大數量
1189.氣球 的最大數量 給你乙個字串 text，你需要使用 text 中的字母來拼湊盡可能多的單詞 balloon 氣球 字串 text 中的每個字母最多只能被使用一次。請你返回最多可以拼湊出多少個單詞 balloon 示例 1 輸入 text nlaebolko 輸出 1 示例 2 輸入 te...
隨筆 MySQL大資料匯入
最近工作總是遇到分析一些大批量的資料，給的sql檔案有1 2g，每次把資料搞進去就得花費很長時間，網上看了很多方法，說什麼設定快取大小 set global max allowed packet 2 1024 1024 通訊快取區間大小 set global net buffer lenght 10...