利用pandans獲取兩張excel指定列的交集

2021-09-27 03:51:12 字數 1253 閱讀 8582

需求：txt.xlsx 有效資料無id，oldtxt.xlsx所有資料報括txt.xlsx的手機號且對應id。需要比對兩個檔案的列，獲取交集的id集合

oldtxt.xlsx 約100萬條資料

txt.xlsx 約兩萬條資料

利用pandas的merge快速獲取目標資料的id，最終安裝需要的結構拼接寫入文字或者資料庫。**如下：

import pandas as pd


import xlrd


import xlwt


# 目標資料


df=pd.read_excel('e:/mypython/txt_data/txt.xlsx')


data=df.head()


# print(data)


# 所有資料


dfold=pd.read_excel('e:/mypython/txt_data/oldtxt.xlsx')


dataold=dfold.head()


# print(dataold)


#通過merge獲取交集和id


samedata = pd.merge(df, dfold)


print(samedata['id'])


samedata.to_excel('delphonelist.xlsx', sheet_name='sheet1')


#根據習慣處理目標id


dfnew = pd.read_excel('e:/mypython/txt_data/delphonelist.xlsx')


print(dfnew.head())


ids = 


sql = ''


for i in dfnew['id']:


# insert into del_cuss values (),(),()


sql += '({})'.format(i) + ','


print(sql)


# 寫入txt


# f1 = open('idlist.txt','w')


# f1.write(str(ids))


f1 = open('idsql_value_new.txt','w')


f1.write(str(sql))

兩張軟盤linux

1.格式化軟盤 fdformat dev fd0 2.作檔案系統 mkfs t ext2 dev fd0 3.在 mnt下建立目錄floppy mkdir floppy 4.掛載軟碟機 mount t ext2 dev fd0 mnt floppy 把linux 0.11 devel 040329資...

利用SQL SERVER對比兩張表的資料一致性

create table dbo a id int null,name varchar 50 null,varchar 50 null,age int null on primary create table dbo b id int null,name varchar 50 null,varcha...

collection 兩張表查詢

場景 兩張表 學生基礎資訊表a，學生成績表b，兩張表通過userid關聯 返回結果 以學生為維度返回列表，學生有乙個外部屬性 成績列表 語文 100 張三 u001 成績 數學 99 英語 88 李四 u002 成績 語文 66 數學 77 英語 99 王五 u003 成績 語文 22 數學 55 ...