假如，在有兩個大檔案分別儲存了大量的資料，資料其實很簡單就是一堆字串，每行儲存一條，如何快速篩選出兩個檔案的異同之處麼，或者如何篩選出兩個檔案中不同的元素呢？
剛開始我是通過最簡單的方法，利用for迴圈去乙個個的判斷，時間複雜度為m的n次冪，當然當檔案數量級為十萬或者百萬時，速率簡直慢到了極點。
利用set()的different(方法)可快速比較，兩個set集合的不同之處，也就是對集合進行數**算
假設:資料1擁有858882條記錄，資料2有360029條記錄，快速挑選出資料2中而不存在與資料1中的資料
方法：先將兩個檔案中的資料讀入兩個list：data1和data2，然後通過：set(data2).difference(set(data1))，獲取data2與data1的差集
下面為乙個小的demo，可以看到近百萬級的資料，比較出差集也就需要1秒左右，效率不是一般的高
import time
t1 = time.time(
)data1 =
for i in
open
("indb.txt"
,"r"
,encoding=
"utf-8"):
i = i.strip(
"\n"
) i = i.lower(
)data2 =
for i in
open
("data/18年.filename"
python中list最多可以存放多少條資料呢？對於這個問題，有個網友調研了python的文件，結果跟計算機的效能相關
64位機器：2^63-1=9223372036854775807
32位機器：2^31-1=2147483647
import sys
print(sys.maxsize)
print(pow(2,63)-1)
9223372036854775807
9223372036854775807
參考：
內建函式
作用add()
為集合新增元素
clear()
移除集合中的所有元素
copy()
拷貝乙個集合
difference()
返回多個集合的差集
difference_update()
移除集合中的元素，該元素在指定的集合也存在。
discard()
刪除集合中指定的元素
intersection()
返回集合的交集
intersection_update()
返回集合的交集。
isdisjoint()
判斷兩個集合是否包含相同的元素，如果沒有返回 true，否則返回 false。
issubset()
判斷指定集合是否為該方法引數集合的子集。
issuperset()
判斷該方法的引數集合是否為指定集合的子集
pop()
隨機移除元素
remove()
移除指定元素
symmetric_difference()
返回兩個集合中不重複的元素集合。
symmetric_difference_update()
移除當前集合中在另外乙個指定集合相同的元素，並將另外乙個指定集合中不同的元素插入到當前集合中。
union()
返回兩個集合的並集
update()
給集合新增元素
Linux 使用grep快速比較兩個檔案不同
兩個檔案的比較，會有同學說使用diff，和vimdiff就可以快速比較，為什麼還要使用grep呢？有些時候，diff和vimdiff的時候環境不符合，這樣的情況，就可以使用grep來解決這個問題。先說下命令 grep vwf file1 file2 v 取反，就是找到的相同的地方的，但是輸出的內容卻...
SQLSERVER中如何快速比較兩張表的不一樣
一般來說，如何檢測兩張表的內容是否一致，體現在複製 的時候發布端和訂閱端的兩端的資料上面 我這裡羅列了一些如何從資料庫層面來解決此類問題的方法 第一步當然就是檢查記錄數 是否一致，否則不用想其他方法了 這裡我們用兩張表t1 old，t1 new 來演示方法介紹 方法一 老老實實看表結構和表記錄數，弊...
SQLSERVER中如何快速比較兩張表的不一樣
不知不覺要寫2014年的最後一篇博文了 一般來說，如何檢測兩張表的內容是否一致，體現在複製的時候發布端和訂閱端的兩端的資料上面 我這裡羅列了一些如何從資料庫層面來解決此類問題的方法 第一步當然就是檢查記錄數是否一致，否則不用想其他方法了 這裡我們用兩張表t1 old，t1 new來演示 方法介紹 方...