2018中國人工智慧大會今天28日在深圳舉行。會上，國際人工智慧聯合會（ijcai）主席、aaai/acm/ieee fellow、香港科技大學教授楊強發表了題為《ai面臨的挑戰和遷移學習所帶來的機遇》的演講，談到了ai發展遇到的大資料的困境以及解決辦法。
楊強表示，我們正處於大資料驅動的ai時代，人們將工作數位化，然後通過人工智慧自動化，從而提高效率。但是，現在我們越來越多的遇到了資料的困擾，很多企業的資料都是孤島沒有辦法打通，同時受制於歐盟gdpr等法案的制約，增大了這種困境。
楊強教授具體講解了大資料面臨的兩大困境。
一大困境是面臨隱私、安全和監督。以歐盟的gdpr為例，gdpr明文規定了使用者的「被遺忘權」，對使用自動化模型決策全面禁止，這對機器學習有重大影響，因為讓使用者同意使用並不容易，使用自主決策合法要滿足三點，包括合同處理的必要性、其他法律另行授權，資料主體明確同意。
在資料隱私的監管的大趨勢下，解決這一問題並不容易。楊強教授提出了聯邦遷移學習思路，這種思路希望建立起機器學習的企業生態，各個企業自有資料不出本地，模型效果不變，在不違規的情況下建立乙個虛擬模型。楊強教授表示，利用聯邦遷移學習加密技術，協同建模，學習模型過程不交換使用者數，不侵犯隱私。
另一大困境是小資料的困境，楊強教授提出了遷移學習，並列舉了跨領域輿情分析的案例。
楊強最後表示，面對資料發展的困擾，希望利用聯邦遷移學習技術建立聯合建模解決方案，克服資料障礙。在法律規範的基礎上，各個參與方理解一致的共識機制，保障安全合規性。比如在金融領域，可以建立金融業聯邦遷移學習聯盟。
怎麼解決資料傾斜問題？
本文面向的讀者是從事資料分析 資料處理 etl 等相關工作的朋友們，相信大家在工作中一定遇到過資料傾斜的問題，讀完本文，你會了解到資料傾斜的定義及其危害 產生的原因及應對措施 常見傾斜場景及解決辦法等知識，相信對你今後處理資料傾斜問題會有一定的幫助。目前流行的大資料相關的計算框架之所以能夠處理大量的...
什麼是資料傾斜，怎麼解決資料傾斜？
相信很多接觸mapreduce的朋友對 資料傾斜 這四個字並不陌生，那麼究竟什麼是資料傾斜？又改怎樣解決這種該死的情況呢？何為資料傾斜？正常的資料分布理論上都是傾斜的，就是我們所說的2 8原理 80 的財富集中在20 的人手中，80 的使用者只使用20 的功能，20 的使用者貢獻了80 的訪問量，不...
資料溢位怎麼解決 大資料輿情監測怎麼做的解決方案
對於不了解輿情大資料的，可能不太清楚輿情大資料是什麼意思？甚至可能不知道大資料輿情監測要怎麼做？而對於還沒運用大資料技術，還在用傳統的人工的方式監測輿情的，會有大資料輿情監測如何快速高效做好之類的疑問等。下面蟻坊軟體就重點這對這些問題來一一解答。輿情大資料其實指的是網際網路上海量的網路輿情 資料資訊...