乾貨丨RPA工程中的資料處理問題

2021-09-27 04:51:28 字數 1302 閱讀 6442

文丨鄂攀

首先,拿乙個標準化操作流程sop來說,按基本流程比方說就是a-b-c-d。那麼開發過程中,是不是也必須就要這樣做呢,答案是no。

因為客戶大多是業務人員,對於技術的理解可能很少,通常情況下他們之所以那樣做是基於前端頁面和自己知道的簡單資料處理可以通過那樣的方式, 一步一步得到自己想要的輸出檔案,但是,如果是職業技術人員,在梳理完業務流程和邏輯後,大多數情況下,是可以實現,直接從a就達到d的效果。

所以此處要談到業務流程中至關重要的資料處理,因為專案中會碰到一些rpa人員在資料處理上——效率的優化, 好像並沒有什麼概念。覺得只要把資料處理後拿到想要的資料就可以了,可能不會去看,這個處理會在整個流程中占用多少記憶體,花費多少時間。

拿乙個簡單的例子,乙個業務流程中需要解析稅務發票掃瞄出來的檔案, rpa人員乙個檔案乙個檔案,單調回歸讀寫輸入,不到200個檔案,整整花費了四十多分鐘,這是rpa服務中對時間的巨大浪費。如果知道虛擬儲存,在不佔記憶體的情況下,整個過程解析完再進行一次性資料輸入,時間就會大大縮減到幾分鐘不到。

另外excel檔案裡面幾十多萬條資料處理加工, 客戶的公式處理再加上手動核算處理, 基本上就要花費一上午的時間。後優化處理, rpa人員特意用了資料庫,處理完之後發現用了四十多分鐘,資料庫是可以儲存資料,提高資料效果。但是資料庫和excel互動的時候,就會顯得很慢,效果並非最佳。後經過資料處理進行虛擬記憶體的演算法優化,整個過程只用了不到三分鐘就處理完了。

通常幾十萬到上百萬的資料處理,在財務領域裡面的ap/ar上比較多見,當然,與公司的規模也有很大關係。

而rpa有其短平快的特性,所以基本上都是單兵作戰,從初期需求對接,流程可行性分析,架構設計,開發實施,測試上線部署,以及文件編寫後期維護,這些事情基本上都是乙個人來做,這就意味著rpa工程的質量如何,與開發人員的水平和視野有著密不可分的關係。

所以rpa服務的核心價值在哪?

這是乙個非常需要思考的問題。在實現流程自動化的時候,不單單是讓手動變成自動,更是應該讓執行效率變得明顯提高。因為有些客戶的rpa服務可能部署在自己的工作電腦,並非專門的rpa機,所以花費那麼多時間去實現流程自動化,顧客可能覺得還不如讓我自己做呢。所以實現流程的自動化,我們需要考慮多種方案,選取更優。

相信隨著rpa人員的行業經驗不斷增加,如何根據業務流程規則和資料體量設計優化方案,將會變得越來越清晰。最後根據之前看到諮詢同仁的一篇文章,對rpa人員的六級加速做了乙個整理,以便分享與了解。

FMDB中的資料處理

1 self.db executeupdate create table test a text,b text,c integer,d double,e double 我們建立乙個 text,可以很清楚的看到其欄位對應的資料型別 資料型別 text 字串型別。integer 整型。real 浮點型 ...

R語言 資料處理 R做資料處理中的小技巧

一 主要內容 建立新變數 修改資料 修改變數名 處理缺失值 資料排序 資料合併 資料篩選 抽樣二 r語言 rm list ls gc manager c 1,2,3,4,5 date c 10 24 08 10 28 08 10 1 08 10 12 08 5 1 09 country c us u...

資料處理中的細節(自用)

同時滿足兩個條件 data data.loc data.period 999 data.nuni 999 滿足某條件 bid nuni bid nuni bid nuni nuni 1 填充缺失值 data nuni data nuni fillna 999 移除相同 樣本 totalexposur...