資料安全共享問題、資料孤島的問題有解了，那就是利用區塊鏈。
區塊鏈開發
以太坊 | fabric | bcos | 密碼技術 | 共識演算法 | 位元幣 | 其他鏈
在同行業機構間進行資料共享時，存在「資料孤島」問題，最重要的是要保證資料的安全性，在杜絕複製洩露的基礎上才有可能建立乙個互信共享的資料平台。這也是乙個重要並且典型應用區塊鏈技術的方向，也就是當前ai+大資料+區塊鏈的結合趨勢,區塊鏈作為底層平台為大資料及ai所需的資料來源提供可靠保障。
當前，各家的資料基本都是在自己的域中跑，每個平台都只擁有自己的一部分資訊，而非全面資訊，各行業機構之間也是如此，想要打通資料間的連線，進行資料共享，實非易事。因為資料目前已成為平台或企業的核心資產和財富，沒有人真的願意共享。即使是交換資料，一些機構也會有意或無意地提供一些低質量的資料。當資料質量得不到保障時，再好的資料模型，也無法得出正確的結果。總而言之，資料共享在網際網路架構下是無法得到很好解決的，因為資料是可以輕易地進行複製、傳輸的，無法保障資料安全。因此，以資料為核心資產的平台同行業間共享資料是存在極大風險的。
區塊鏈及加密技術的發展，為解決這個問題提供了一些新方案，比如由區塊鏈提供乙個可信的「黑盒」，大家可以把自己資料放心地放進去，不用擔心被複製或洩露；或者將雙方資料共享前先加密，再進行計算，計算結果也是密文。像這樣的方式既可以完成必要的資料共享、安全計算，又不會使資料或者模型洩露給其他人，從技術上有效解決這個問題，相關資料擁有方的合作動力應該會更大。
在資料共享場景中，諸多「資料共享聯盟」間能否形成乙個類似「資料市場」，一方是資料、演算法模型的提供者們，另一方是資料、演算法模型的買者們。基於區塊鏈的資料市場可以有效避免資料的洩露複製，在區塊鏈的保護下，安全地共享資料，並且利用區塊鏈中的智慧型合約去自動執行一些邏輯，比如無可爭議地去統計使用情況並計價或者進行資料交易。
區塊鏈解決方案
關於資料安全共享，可以有幾種區塊鏈技術方案：
①同態加密
②零知識證明
③多方安全計算(mpc)
④可信執行環境(tee硬體)
其中，①-③是密碼學技術，④是一種與cpu硬體結合的技術，現較為成熟的是同態加密以及tee技術。
舉例：密碼學技術解決示例，一種方案思路：
在該資料生態當中有眾多參與者，每個使用者都需要在區塊鏈平台註冊，並分配相應的公鑰與私鑰，區塊鏈平台擁有每個參與者的公鑰以及數字證書，因此可以輕鬆驗證任何授權使用者的交易，這是資料許可權管理的關鍵。原始資料始終歸自己私有，不上鏈亦不出域，鏈上只儲存資料的位址，區塊鏈通過請求者要求找到資料位址，並向該資料擁有者請求資料。假設有機構a、b、c各自持有資料，a發起共享請求，當a需要b的資料進行資料共享計算時，請求者a發出請求交易並附上自己的公鑰a。當區塊鏈平台收到此交易請求後，驗證該請求者，若不是合法使用者，拒絕交易。若通過驗證，則通過智慧型合約查詢該資料的位址。當合約查詢到資料位址是b時，向其請求資料。資料擁有者b通過在其資料庫中檢索查詢到資料，此時，b用自己的私鑰與請求者a的公鑰生成重加密金鑰，該金鑰用來加密從資料庫中取出的明文資料，通過加密生產加密資料並返回給區塊鏈。區塊鏈收到加密資料後再次請求b的私鑰以及b參與計算的資料，同時開啟加密計算子鏈，該子鏈只用於安全計算，不被鏈上任何參與方所知曉，它有著極高的計算效率與較少的共識驗證，保證計算任務的高效完成，完成任務後自動銷毀。當加密計算子鏈完成計算任務後將計算結果返回給主鏈，鏈再整合其他方的計算結果並將彙總計算結果返回給a，完成整個計算任務。在整個區塊鏈系統中，使用智慧型合約對資料的使用情況進行統計及估價，若引入通證激勵模式，可讓貢獻資料者自動獲得相應的通證獎勵，形成具備自由規則的資料市場。
利用pandas進行資料清洗的方法
目錄 我們有下面的乙個資料，利用其做簡單的資料分析。這是一家服裝店統計的會員資料。最上面的一行是列座標，最左側一列是行座標。列座標中，第 0 列代表的是序號，第 1 列代表的會員的姓名，第 2 列代表年齡，第 3 列代表體重，第 4 6 列代表男性會員的三圍尺寸，第 7 9 列代表女性會員的三圍尺寸...
利用廣播變數來進行資料的傳輸
package report import config.confighelper import org.apache.spark.broadcast.broadcast import org.apache.spark.rdd.rdd import org.apache.spark.sql.spar...
在區塊鏈上進行科學研究和資料共享 理念與舉措
區塊鏈是一項革命性技術。從其對不同行業和部門的潛在影響來看，這種狀況恰好與網際網路發展初期的情況極為類似。全球技術公司digital science去年年底發表了乙份報告 blockchain for research 科學研究中的區塊鏈 對區塊鏈支援下的學術交流新正規化進行了展望。本文的認識主要來...