大資料儲存庫擁有全球的個人可識別資料。很多資料管理專業人士現在都將注意力集中在歐盟的「通用資料保護條例」(gdpr)上,該條例將在乙個月內生效,將對任何在這些國家開展業務的企業實施嚴格的資料管理措施。
自2023年成立以來,hortonworks公司已經從hadoop大資料軟體分銷商,發展成為針對跟人、公共、混合和多雲部署的多元化大資料治理工具提供商。在這方面,現在gdpr是全球的關注焦點,儘管其他國家——和特定領域的法律(如美國的hipaa法案)仍然是這種能力需求的驅動因素。因為gdpr要求嚴格控制對歐盟成員國公民個人資訊的處理、移動和使用,並對未能維護個人資訊的企業採取較重的經濟處罰。
本週在德國柏林舉行的dataworks峰會上,gdpr成為最大焦點,但遠非唯一的話題。正如hortonworks公司營銷副總裁john kreisa所說,hortonworks有多月越多的客戶正在加大投資主流開源產品,以及其2300多個合作夥伴,以推動物聯網、流計算、資料科學、人工智慧、機器學習、資料倉儲、網路安全和其他重要應用。在面對解決這些機遇時,hortonworks繼續採用以社群為主導的市場策略,專注於開源技術。
dataworks峰會上有很多關於這些技術和其他新興技術的分會場備受關注。儘管如此,不可否認的是gdpr的最後期限即將到來,這已經讓不少hortonworks的客戶把合規相關的資料管理專案推到了最高優先順序。正如知名大資料分析專家bernard marr說的:「我感覺有很多事情要做,我認為人們現在正爭先恐後地為此做好準備。但沒有人真正知道做好準備真正意味著什麼,我認為有很多不同的解釋。最近我和幾位律師交談過,他們每個人對於如何推動邊界都有不同的解釋。」
這就解釋了為什麼hortonworks在這次峰會上重點推出了新的data steward studio,一種軟體即服務產品,可以幫助企業實現gdpr合規流程的自動化。hortonworks首席技術官scott gnau在第一天主題演講中表示,這款新產品現在還處於技術預覽階段,預計將在本季度晚些時候推出,將作為管理複雜大資料多雲環境的hortonworks dataplane service服務系列的一部分對外售賣。
gnau說:「這絕對很契合的。gdpr正在創造乙個里程碑,讓人們開始真正考慮自己的資料資產。但不止如此,當你一直在考慮推動業務數位化,推動新的商業模式,連線資料和尋找新的用例時,都要找到你所擁有的資料,了解這些資料是什麼、來自**、誰有權訪問、用這些資料做了什麼。這些都是資料治理方面的事情,現在由gdpr等法律明確規定了。」
srikanth venkat在第二天主題演講中表示,data steward studio支援以下隱私保護資料管理實踐:
對企業在私有雲、公有雲混合雲的乙個或多個資料湖中儲存和管理的個人資料詳細記錄進行發現、編目和維護;
提供乙個安全、全面的環境,讓使用者訪問和審查個人資料,不管資料儲存在**;
向使用者披露為什麼要處理資料、從何處獲取資料、把資料傳送到**、何時刪除資料,為什麼需要保留資料直到這個時間、以及擁有哪些資料權利;
使使用者能夠登記或撤回他們對以不同程度處理、使用和轉移資料的具體的、已知的、明確的同意
執行主體同意處理、使用和轉移資料,以及刪除全部或部分資料的請求,撤銷對各種用途的同意或限制分析和處理。
元資料是data steward studio動力**大資料目錄的核心。該解決方案使企業資料管理員能夠根據資料的**、價值、保護級別、敏感度或功能使用情況、以及其他描述性元資料來全域性搜尋、編目、分類、標記和管理資料。該解決方案讓資料管理員能夠分析資料沿襲和影響,還可以保護個人資料和相關元資料,以符合企業級授權、資料保護和匿名政策。
「很多公司正在試圖構建乙個資料目錄,不僅是乙個實際包含資料的目錄,而且還是描述資料的目錄。它是所有資料集的列表,以及指向這些資料條目在這些資料集內含義的定義鏈結列表,以及有關資料沿襲的資訊,包含有關誰在使用這些資料、使用方式和如何管理資料的資訊。對於擁有強大資料戰略、希望成為以資料為驅動的企業組織來說,這是乙個核心資源。這將成為他們如何使用資料集的主要目錄。那麼,當監管機構來問你,是否可以告訴我你們是如何管理個人資料的時候,通過該目錄可以查到資料的位置、所在基礎設施的型別以及不同服務如何使用這些資訊。這樣,他們就可以表明他們知道自己在做什麼、如何在日常中使用元資料來恰當地管理資料。」
雲計算大資料峰會小記
1 openstack ionetwork 1g 儲存12 塊盤 130mb s 12 1500mb s server hash mfs glass?好像不對沒聽清 raid hardward raid 10 soferaid glass.question 網路閃斷,虛擬機器可讀不可寫 問題重現和解...
雲計算大資料峰會小記
1 openstack ionetwork 1g 儲存12 塊盤 130mb s 12 1500mb s server hash mfs glass?好像不對沒聽清 raid hardward raid 10 soferaid glass.question 網路閃斷,虛擬機器可讀不可寫 問題重現和解...
大資料計算成都峰會 開啟西南大資料新洞察
阿里巴巴大資料計算服務maxcompute走進西南,邀您共赴成都大資料計算峰會。現在報名 為進一步滿足西南地區的計算需求,阿里雲大資料計算服務maxcompute即將在成都正式開服。雲貴川及周邊地域的使用者將更方便得獲得高效能 高可用 低時延的雲計算和資料智慧型服務。西南地區不僅是全國最重要的製造業...