數字邏輯要不要認真學
「重要的事很少是緊急的,緊急的事也很少是重要的。」 —歸功於美國第34任**德懷特·「艾克」·艾森豪威爾在當今以資料為驅動,不斷連線,以技術為中心的世界中,我們充斥著引人注目的內容,事件和請求。 像我一樣,我懷疑大多數opensource.com讀者都喜歡這種生活方式-畢竟,我們的技術人員創造了這種生活方式-除非是當我們不這樣做時。 如果像ike一樣,我們能夠適當地將緊急事件與重要事件分開,並利用這些潮汐資料來為我們的個人和專業利益謀取利益,我們就會喜歡它。 隨著資料大小的增長,這變得越來越難。
以免這成為關於大資料所有事物的榮耀的另一篇「我也是」文章,我將重點放在另一種正在發生的趨勢上,我認為在這場競賽中獲得所有資料的真正價值是真正的收穫。 :自動識別重要內容並採取重要措施。 想象一下,一家**公司通過將您的實時網路監控與實時社交**分析相結合,可以自動確定由於緊急情況與**會之類的大事件而導致的本地化手機流量峰值的差異,並在負載過大時做出相應的react或停機。
前者情況很重要,後者只是緊急情況。 在所有其他用例中,重要性是當前資料移動的最重要方面。 將所有資料儲存並彙總到下一代資料倉儲中是很好的用例,但是最終您將用光磁碟(即使很便宜),也無法檢視和理解所有這些報告。 但是,您永遠不會知道資料中的重要內容以及它如何影響您,客戶和公司的需求。
所有這些與開源有什麼關係? 開源庫中的創新,特別是搜尋,機器學習和自然語言處理(nlp)庫,正在為對重要資料的更深入,更令人滿意的理解鋪平道路。 在我們研究這些工具的作用之前,讓我們退後一步來思考在資料上下文中「重要」的含義。
乍一看,知道重要的東西似乎屬於波特·斯圖爾特的「我一看到就知道」類別,這是大多數人認為理所當然的事情。 我們大多數人可以通過快速閱讀主題行或瀏覽呼叫者id來判斷電子郵件或**是否重要。 我們很少有人會理解我們如何能夠如此swift地得出這些結論,或者是那些因素決定了那些簡單的決定,而對複雜情況下更重要的事情的理解則要複雜得多。 這就是構建軟體和系統來解決問題的挑戰。 確定重要性包括很多方面,包括但不限於:及時性,個性化,過去的行為,社會影響,內容,含義以及某項是否可行。 例如,現在對您的基礎架構進行的安全攻擊可能比去年發生的攻擊更為重要。 我說可能 ,因為去年的那一年可能有關於如何立即停止這一年的線索,因此非常重要。
儘管面臨所有這些挑戰,例外和微妙之處,但在識別重要資料方面,我們還是在將小麥與穀殼分離方面取得了很大進展,這在很大程度上要歸功於開源。 尤其是,諸如apache lucene和solr之類的搜尋引擎技術取得的進步徹底改變了我們處理大規模結構化內容,對其進行排名並及時返回的能力。 近年來,搜尋引擎取得了長足的進步,可以無縫收集,整理和整理各種資料型別(文字,數字,時間序列,空間等)中的資料,而不再只是進行快速的關鍵字查詢。 結合用於統計分析的
大規模資料處理框架( hadoop
, spark
等), r
,機器學習功能(如apache mahout
, vowpal wabbit
, mllib)
和nlp庫(如史丹福大學的nlp庫
, apache opennlp
, nltk
等),現在可以構建複雜的解決方案,以接收您的資料,對其進行建模,將其提供給您的使用者,然後從他們的行為中學習。
google,amazon,facebook和其他公司已經這樣做了多年。 通過開放源**的力量,我們中的其他人現在可以廣泛使用其中的許多技術。
所有這些工作的最終目標是在使用者和資料之間建立乙個良性迴圈。 使用者與您互動的次數越多,系統越智慧型。 您的系統越聰明,您的使用者就越希望與您進行互動。
阿帕奇
鵝毛筆
本文是由jason hibbets協調的apache quill專欄的一部分。
通過[email protected]與我們聯絡,在apache software foundation的專案內分享您的成功案例和開源更新 。
翻譯自:數字邏輯要不要認真學
原創 做軟體測試到底要不要學程式設計?
賈伯斯曾經說過 每個人都應該學習程式設計,因為它會教你如何思考 看,喬幫主都覺得所有人都應該學程式設計,那你說做測試的要不要學?當然要。作為測試人員,除了上面這個原因,我覺得如果會程式設計,還有下面 3 個好處。1 知道技術實現,可以設計更有針對性的用例 比如我在 需求評審之實戰演練 中提到的關於計...
想轉行學IT,到底要不要去培訓機構?
之前在知乎上看到個很有意思的問題 你見過出身最奇特的碼農之前是做什麼的?答案五花八門,有快遞員 廚師 軍人 物理老師 各種看起來跟it行業八竿子打不著的職業,最後都轉行做了程式設計師,而且大多數做的還很不錯。由此可以看出,半路轉行it並非個例,而且相比於其他行業,it行業更看重能力,而不是出身。想轉...
c 需要學幾年 學C 之前要不要學C語言
不同的計算機語言完全可以模擬於人類不同的語言。學c 之前要不要學c語言,可以模擬於學漢語前,要不要學英語。不會漢語,會英語的人很多。不會英語,會漢語的人也很多。假設學習漢語和學習英語的難度是一樣的。那麼,乙個什麼語言都不會的人直接學英語或者學漢語難度係數就會是一樣的。但是會一門語言,再去學另一種語言...