資料採集(4)

2021-05-08 13:08:49 字數 1313 閱讀 1023

這個裡面之所以採用了兩個方式獲取htmldocument是為了解決ajax重新整理頁面,原始碼不變的問題。

採用反射是為了解決不同的資料集的處理方式不一致的問題。

其實這裡可以不這樣做,做成返回乙個datatable就行了,但是專案畢竟特殊,而且不同資料來源要寫入到不同的資料表。沒辦法了。。

看乙個反射的類吧

public

class shenjiaosuo_1:infoclass

public

override datatable getdatadather(ihtmltable itable,int trstart,int trend,int tdstart,int tdend,ref

bool isnextpage,datetime dtold,datetime dtnow)

break;

case 1:

if(isroghtdata)

break;

case 2:

if(isroghtdata)

break;

case 3:

if(isroghtdata)

break;

case 4:

if(isroghtdata)

break;

case 5:

if(isroghtdata)

break;

case 6:

if(isroghtdata)

break;

case 7:

if(isroghtdata)

break;

default:

break; }

#endregion }

if(isroghtdata)//

為false則不加入到datatable中 }

isnextpage=isroghtdata;

return dt; }

catch(exception ex)

} public

override

void writetoserver(datatable dt)

catch(exception ex)

} 這樣就解決了不同資料來源資料不同的處理方式問題和寫入不同資料表的問題。

這樣就造成了不通用了,不同的資料來源得配置乙個不同的對映檔案。所以一半一半了,之前還有個想法是把資料表的資訊用配置檔案儲存下來,同時把要處理的資料集方式也儲存下來做成通用的,但是試想想乙個非專業的人會使用你寫得軟體嗎?

這個軟體並不能真正的通用,但針對於table的資料集達到了一定的通用性,同時減少了新增乙個資料集的開發時間。

C 資料採集

這裡指的是,你發現任意乙個頁面,沒有rss,沒有資料介面,只是通過瀏覽器能夠訪問,把上面的資料用程式拿過來用。基本原理 1,通過http請求頁面,返回字串的 3,有需要的可以把資料儲存到自己的資料庫中,也報過處理等。4,把提取出來的資料生成自己需要的頁面。乙個偷取頁面的過程就這樣完成了。下面是兩種第...

php資料採集

實測單次採集了一萬條鏈結,並儲存。主要用於測試,請勿它用。注釋寫的很清楚,就不贅述了 如果連線到遠地主機成功,則傳送請求 if this connect else 如果響應頭部存在重定向,則對重定向傳送請求 if this redirect if this roll link else else e...

金融資料採集

陽光金融p2c 陽光網際網路金融服務平台 p2c,p2p 眾籌平台,信用評估模型,金融資料採集,分析,網際網路金融,資訊化,定製開發,專注北京,天津,河北,山東區域,面向金融企業,金融機構。p2p 金融資料採集,網際網路金融,網貸平台,金融管理系統,金融資訊化,信用評估模型 資訊管理 陽光網路致力於...