最近，在哈佛大學舉行的一次會議上，學者和業內人士討論了大資料在不久的將來要面臨的倫理挑戰。
在哈佛大學舉辦的societal impact through computing research 研討會上，一位與會者分享了自己與一位六個月前，剛搬到哈特福德，康乃狄克州的保險公司的it領導人之間的一次會面。這位it領導人「完全依賴於他的導航 系統，」這位與會者說，只有使用gps裝置才能在城市裡找到方向。沒有它，他甚至不知道**是北。
你很容易認為，導航技術的好處超越了這位保險公司高管對於城市路線的知識缺乏。但我明白這個人想要表達的觀點：大資料——使gps裝置可以提供實時方向， 正在改變我們理解世界的方式。當乙個gps裝置告訴我們向右轉時，我們就向右轉。並且，因為我們非常願意將新技術融入到生活，我們也冒著風險——有時我們 的方式真的錯了，倫理上也錯了。
這是圓桌討論會上提出的觀點之一。（參與的10位學者和/或行業專業人士都要求匿名，以確保開放和坦誠的對話。）這一對話讓我深思大資料倫理，和cio的 職責。在應對大資料專案時，it的領導人經常被要求考慮業務問題而不是技術解決方案。但是一旦業務目標得以確定並實現，這一大資料專案將會對社會帶來什麼 影響？
語義錯誤
擁有更多資料的優勢是顯而易見的，但當社會變得如此依賴資料，在不加深思和考慮後果的情況下，信任資料並以此作為行動的依據，又會帶來什麼後果？
我在自己關於大資料分析的報告中發現，錯誤分析結果也會讓研究人員相信，例如，認為失業率在下降，因為他們的社交**軟體分析程式誤將steve jobs 名字中的 「jobs」當作為 「工作」的意思。
這一錯誤解讀導致了錯誤的結果，但是有大量的大資料分析入侵私人生活的案例。比如，target公司的懷孕**（teenage pregnancy）事件，還有最近在gartner catalyst會議上聽到的，一家大型金融機構的客戶流失**。這一銀行發現了一種客戶準備離開的規律，但未能意識到這些他們想要挽留的許多客戶，其實 是想在申請離婚前，進行財產轉移的配偶。
在這些例子中，都是語義錯誤造成的。 （我們能稱之為乙個資料質量的問題嗎？） 與會者之一，一位電腦科學的博士生說：「我曾經是一名資料科學家，我的同事們都很聰明，但他們提出的解決方案，完全沒有實際意義。」一些大資料專案在真 空中進行，完全無法和現實世界相關聯。
當資料導致歧視
當涉及到大資料的倫理問題時，語義錯誤只是冰山一角。更大的擔憂是這種對於資料的盲目信仰會導致，取消分析審查或缺乏批判性思維。例如，當方案合適，但有潛在的倫理問題時,企業要如何選擇？當大資料幫助企業維持成規或歧視性政策而不是消除它們時，又會發生什麼？
資料和分析已經成為創新的溫床。這可能意味著，正如一位與會者指出的，對於企業而言，更容易在事後獲得諒解，而不是事先獲得許可。 「即使你想獲得許可，法律體系也沒有相應的流程。法律體系還沒有趕上技術，」這位與會者，是哈佛大學伯克曼網際網路與社會中心的律師。
即使這樣的流程存在，資料科學家也不是律師，反之亦然。也許，正如那位博士生所說的那樣，也許是時候結束資料分析的討論，開始討論大資料的倫理問題和法律後果。「資料分析最終將不可避免地必須在法律領域或政治舞台上做出評判，」他說。
大資料倫理不僅是學術
如果你認為大資料倫理純粹僅是學術討論，事實並非如此。這一話題在最近在紐約舉行的strata + hadoop world 大會上也被提及。
dj patil，美國科學和技術政策辦公室的首席資料科學家，站在台上，發出號召。「我的請求是，每個培訓、每個課程、每乙個大型開放式網路課程、每個大學課 堂、每個專業學位、每個公司的專案都有內在的資料倫理課程，—不是附加的，是內含的—培訓每個資料科學家，每個計算機科學家，每個資料工程師，每個資料運 算的人，」他說。「我們必須明確這個專案應該是怎樣的。」
隨後，patil開展了一場眾人參加的、兩部分的有關資料倫理的對話，與會者來自銀行，醫療和零售行業。
當一位與會者問patil應該如何做，他說：「正確的方式：我們聚在一起，承擔職責，作為團體，對問題進行定義。錯誤的方式：一群不在這一領域工作的人聚在一起，寫下定義，然後說， 『這是你的新倫理標準。倒霉的傢伙。』」
原文發布時間為：2023年10月20日
CIO需要消除八個大資料神話
gartner分析師markbeyer認為 企業cio們如果想在2020年實現 大資料常態化，那麼就要從消除關於大資料的八個神話開始。讓十位首席資訊官去定義大資料，你會得到十個不同的答案。gartner分析師markbeyer說，這是因為大資料對企業的it專業人員來說仍然並不規範。beyer在今年g...
為什麼CIO應該參與公司的決策
仔細想想，你會發現當今幾乎所有企業在某種程度上都算得上是技術型企業。從中小企業到國際化公司，企業的管理運營 新客戶開發 客戶溝通 重要商業決策的制定以及企業競爭力的保持，都離不開技術的支援。技術的作用不只侷限於提公升運營效率和降低成本。資料本身以及將資料轉換為知識的技術正越來越多地驅動著企業業務創新...
大資料需要學什麼
一般處理t 1資料，這裡的t可以代表一天，一周 乙個月以及一年等。這裡我用的hadoop的版本是hadoop 2.x，它有四個模組 common hdfs mapreduce yarn 下面是hadoop的四個模組的詳細介紹 模組介紹 hadoop common 支援其他模組的工具模組 hadoop...