建模雜談系列22 AI Squad 續

2021-10-09 08:03:46 字數 2672 閱讀 6363

接著建模雜談系列10-ai squad討論ai團隊的構建,本次討論的基礎假設是「人的服務不可靠」。

由於人生活在社會中,除了本身的生物週期(生老病死)之外,社會環境的變化也會極大的影響到人的態度,進而影響到服務和合作。例如,a原來是個特別積極的員工,後來發現薪資跟不上,就特別消極。這個時候站在資本家的角度應該怎麼辦?傳統的方法是kpi考核,但是如何制定kpi是個很大的問題。

本篇討論如何建立乙個滿意(但可能不完美)的kpi制度,一開始由人推動,之後完全自動化(賞罰由系統控制)。

每個人都是乙個映象。

服務化 + 標準化 + 價值估計。

圍繞展示、服務、建模、計算、優化等五方面的能力體系

名稱涉及的技術

作用框架型前端

react, vue

快速構建前端

**型前端

jquery, bootstrap, awesomefont

更加靈活的前端

**型前端

d3.js , echarts.js

基於前端的視覺化

it架構

nginx, frp

內網穿透,反向**,負載均衡

架構部署

docker, docker-compose, docker machine

應用快速部署

分布式計算架構

rabbitmq, pytorch, numpy

高效能計算

分布式服務架構

rabbitmq, docker-compose, neo4j

高穩定服務

資料分析

pandas, mysql

溝通業務

資料處理

pandas, mysql, mongo, neo4j, hive

資料的儲存與處理

經典資料建模

pandas, numpy, sklearn, xgboost

以邏輯回歸為基礎的建模

深度學習

pandas, numpy, pytorch

處理、文字、語音

貝葉斯建模

pandas, numpy,scipy, pymc3

基於貝葉斯的另一整套方法(= 經典資料建模+深度學習+概率推理)

圖建模pandas, py2neo, neo4j, networkx , pytorch

基於圖方法進行的聚類和分類

運籌優化

scipy

運籌及優化

正如我們使用區域網/公網的機器構建了伺服器:

要解決的問題,或者要運籌的內容是:始終保持有服務可用,即便有伺服器down掉。當然如何合理的分散伺服器和進行任務分派是重要的。

按照期望提供的sla以及運籌學,我們可以預備足夠多的」伺服器「。

人工智慧的意義並不是取代人類,而是促進人類的進步。例如,把漢字抄一千遍,這事該人幹嗎?

如果事情/業務的規範性和重複性很高,那麼就應該被抽取出來,再用機器去替代掉。人幹這種事本能也會覺得疲勞和煩躁。

人類的工作應該是去做新的探索,思考演算法/規則層面的問題,然後把一些無規律/無法控制的事慢慢變得清晰可控,再把這些成果交給人工智慧進行最大化。

例如人為了解決某個問題花費了100的成本,再花100的成本變**工智慧型,可以近乎無限的復用。然後只要能夠對其他人有1的幫助,有1000個人使用並付費就很划算了。

人應該創新,發現,提煉規律,演算法;找到新領域的價值=問題

人工智慧(計算機+網路+工業控制+ 感測器)則負責工業化的實現這些價值

按照上面的討論,既然明確了人和機器的分工,那麼作為乙個主體(entity),如何run起來呢?

早些時候我曾經粗粗的看了區塊鏈:加密貨幣、分布式記賬和智慧型合約構成了內容的全部,當然現在似乎只是談到加密貨幣和分布式記賬,這其實只完成了基礎的部分(即可以交易)。

最核心的,改變生產組織方式的是智慧型合約:也就是生產方發布任務(合約),然後生產者只要提交完成就自動校驗然後付錢。

這種方式其實非常適合人工智慧領域,簡單來說人才難得,人才難以驅動。乙個主體是很難以擁有硬體資產的方式占有人才的,既不經濟也不可能。所以可以考慮以下方式:

以測試為導向的內容分發。例如,我們希望有人能寫乙個函式f,能夠實現將x轉變為y的過程。那麼定義可能的數十種,或者數百種測試結果是最重要的。(當然高階點的可以通過演算法模擬更全面的測試)

任務發布後,給到描述和意義,然後提供乙個測試介面。對於合格的開發者(實體認證)可以接受並完成這個任務,完成後只要通過測試就可以把**git上傳到某個倉庫(submodule)。

任務可以有多種型別。排他的、競爭的、限時的…

按照任務的要求會略有不同,簡單來說分為基本收益和提成收益。不同的開發者在完成了不同數量或者難度的任務後會有不同的等級,這個等級將對應費率(例如1000元/小時)。任務發布者需要顧及任務的難度,以基礎費率吸引不同級別的開發者來參與。但是對於比較牛的開發者來說,僅僅是基礎費率是無太大吸引的,所以也要同時考慮提成。

提成的方式可以考慮按使用次數、使用時長給予一定比例的獎勵。可以類似期權性質的方式,但是要確保及時兌現。這種獎勵是隨著使用來的,如果任務發布者採取ab test方式,那麼可以自然的優化任務的收益,也促進開發者的提公升。

所以,最後的難處反而拋給了任務的發布者/專案組織者。我覺得這樣反而是合理的,每個角色負責對應的工作,承擔責任。

建模雜談系列2 建模過程(邏輯回歸)

以邏輯回歸為例,簡述一次建模過程的流程。0公式0 的梳理。對於一般的監督學習而言,目標是首先要確認的。在這步甚至可以保留多個可能的目標變數 但是在每次建模中只使用乙個 當變數的缺失比例較高時,可以考慮直接棄用變數。缺失的問題是比較麻煩的 可能是由於客戶不願意錄入 錄入了但是儲存失敗甚至是取數時的失誤...

建模雜談系列14 建模流程1 從資料開始

探索建模的流程和處理步驟。從資料 檔案的角度看,在整個建模過程中會發生什麼 2 檔案和變數的命名 3 持久化 檔案儲存 資料庫 4 引數的產生和管理 5 過程檔案的產生和管理 6 模型的產生和管理 7 報告檔案 從資料表開始 在乙個專案空間下,表的原始字段應該是固定含義的。例如name如果表示名字,...

建模雜談系列6 任務機制

思考兩個問題 要達成什麼樣的目標?有何意義 如何基於人 小團隊 完成?沒有目標也就無所謂了對錯,一般來說專案都應該有具體的目標。所以評估目標及其意義是重要的第一步,簡單來說也就是評估內外部環境,自身的強弱項 swot 夫未戰而廟算勝者,得算多也 未戰而廟算不勝者,得算少也。多算勝,少算不勝,而況於無...