在軟體工程的概念裡面，對於乙個資訊系統專案，有幾類開發模型。對於bi大資料專案而言，各種模型各有利弊，對於不同類的企業，也需要不同的開發模型進行資料化運營的實施。下面為大家介紹bi大資料專案的開展使用的模型。
下面我們可以結合各類軟體開發模型進行講解：
1、瀑布模型
瀑布模型的開發過程是通過設計一系列階段順序展開的，從系統需求分析開始直到產品發布和維護，每個階段都會產生迴圈反饋。
對於瀑布模型而言，是每乙個過程逐步實施，且每乙個階段都對前面階段有所反饋，在我們實際bi專案實施的過程中，其實不太喜歡用這樣的方式進行上線系統。因為，此類模型需要前期需要有非常完善的資料化運營規劃，而對於目前大多數企業來講，對於資料化運營的規劃，不是那麼完善，或者在實際的實施過程中，經常會有新的變動。且多數業務部門並沒有太多的資料意識，甚至連bi是什麼，大資料是什麼都是一知半解。這種模型加大了實際實施需求調研的難度和時間。
2、快速原型模型
快速原型模型需要迅速建造乙個可以執行的軟體原型 ，以便理解和澄清問題，使開發人員與使用者達成共識，最終在確定的客戶需求基礎上開發客戶滿意的軟體產品。 此類模型會在bi專案實施過程中經常使用，但通常是結合著下面的羅螺旋模型進行使用。實際的bi過程中，為了加快專案進度，往往使用excel做圖表，作為最終的原型邏輯確認。使用excel會比使用專業的axure等工具更加便捷。對於專業的工具，我們可能會遇到各種各樣的問題，例如在給領導匯報的時候，領導在他的電腦上並沒有安裝相應的外掛程式。導致他無法開啟相應的這樣的乙個工具，而且即使是生成相應的html檔案，也會出現各種各樣的問題 。如果我們將原型進行相應的伺服器部署，往往也會出現安全性的一些問題。因而使用excel作為原型工具是我們在一起實際bi專案中常用的乙個選擇 。
當然對於bi而言 ,其本身就是乙個快速開發工具可以生成一定的模型，雖然剛開始可能沒有經過美工的美化，也會相對較醜。但是至少可以一定程度上的表達業務邏輯的需求。且使用bi工具一次性生成的資料分析模型，在後續的開發過程當中可以復用。因而使用自家bi工具作為原型工具，也是bi資料分析專案當中的常用方法。
3、螺旋模型
螺旋模型是一種演化的開發過程模型，它兼顧了快速原型的迭代的特徵以及瀑布模型的系統化與嚴格監控。螺旋模型最大的特點在於引入了其他模型不具備的風險分析，使軟體在無法排除重大風險時有機會停止，以減小損失。我們在bi專案的實施過程當中，常常將螺旋模型和快速原型模型進行結合使用。因為在bi的專案當中，我們通常會把我們的業務資料分析分為每乙個資料集，然後基於每乙個相應的資料集生成我們的業務主題。 而對於每乙個業務主題來說，我們都可以先進行開發實施。而同時，我們的需求調研工作又可以同步進行。這樣就大大縮短了我們的專案週期。
4、增量模型
增量模型是把待開發的軟體系統模組化，將每個模組作為乙個增量元件，從而分批次地分析、設計、編碼和測試這些增量元件。運用增量模型的軟體開發過程是遞增式的過程。對於增量模型，我們通常是在給企業規劃bi的第
二、三期專案的時候進行使用。對於大部分的企業而言，乙個bi專案切忌貪多求大，一般都是先做進行資料的彙總和治理，進行資料倉儲的建設。做相應的一些業務報表，做一些視覺化的看板，作為第1期的內容。而增量模型則是為第2期、第3期做大資料規劃進行準備的，尤其是在大資料現在發展的這麼迅速的這樣的乙個情況下，這個模型就顯得尤為重要。最新的人工智慧的技術發展，一些深度學習的演算法，將來都要納入到資料化運營的程序中。
5、噴泉模型
噴泉模型（fountain model）是一種以使用者需求為動力，以物件為驅動的模型。對於噴泉模型的運用，往往是自己本身有一定的開發能力的企業。基於需求進行驅動，而需求是實時變化的，而且會越來越多，如果利用三方資源來進行資料化運營的話，這種模型會在需求界定上很難達成一致，導致專案需求難以控制，導致專案失敗 。
6、演化模型
演化模型是一種全域性的軟體(或產品)生存週期模型。屬於迭代開發方法。和噴泉模型一樣，演化模型對於企業自身的開發能力要求非常高，需要有專門的開發團隊進行維護資料化運營的成果，而且會時時的變化需求。當然，對於自身有開發能力的企業來說，這樣的模型是最貼近業務的模型。
大資料 專案流程
1.資料的預處理階段 2.資料的入庫操作階段 3.資料的分析階段 4.資料儲存到資料庫階段 5.資料的查詢顯示階段 reduce driver create table 表名 videoid string,uploader string,age int row format delimited fi...
大資料專案3
gmv 今天提交訂單的金額總和,不管是否支付 全站pv 頁面瀏覽量大砍一次就是乙個pv再重新整理一次又是乙個pv 全站uv 去重的訪客總和set mapreduce.framework.name local 本地 set mapreduce.framework.name yarn yarn set ...
大資料專案的一般測試方法
一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api，包括檔案讀取與訪問控制，元資料操作，鎖操作等功能 大資料分析系統的posix語義不同，實現的檔案系統api也不同，功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大，應該重點考慮應用自動化測試方法進行...