引言
目前,國內外的專案管理人員都十分重視對軟體系統的評估技術研究,西方國家的一些機構有一批人長期從事這方面的研究工作,在一些核心期刊上時常可以看到這方面的材料,國內也有一批專家進行這方面的研究工作。由於大家的努力,已經取得了不少的研究成果。本文在總結這些研究成果的基礎上,主要討論了軟體系統的評估理論問題,提出了軟體系統評估的基本概念、分類、主要任務、應掌握的原則、注意的問題、存在的問題以及評估的步驟。
一. 軟體系統評估的基本概念
1、評估要素
評估具有五大要素:評估主體、評估物件、評估目標、評估手段(準則、方法、工具)、評估實施。
2、評估要求
評估應具有實用價值,這就要求評估的準則、評估的方法、評估的效能指標要面向用途,以評估目標為導向,考慮到不同層次評估主體的不同需求。
3、評估質量
指評估結果的可信度衡量,可通過可用性和可靠性來描述,可用性:指評估結果的可用性和一定有效性基礎上的評估效率;可靠性:是指一定可利用性基礎上的評估結果的正確性。
4、評估時效性
評估結果具有時效性,指應從發展的觀點看待評估。由於情況條件的變化,認識的深入,評估結果有一定的變化,因此,評估應在實踐中反覆檢驗。
5、效能指標限定性
效能指標是在一定條件下得出的,具有一定的適應範圍,使命任務和系統的配置不同,其評估物件的效能指標也不盡相同,效能指標值總體構成約束條件空間內的動態曲線。
二. 軟體系統評估的分類
為了能夠對軟體系統作出科學的評估,需要綜合考慮軟體系統的各個方面的特性,對軟體系統進行全方位的評估,我們根據軟體系統的效能、效能、經濟性三個方面,把對軟體系統的評估分為三類:
1、經濟性評估
經濟評估主要從研製軟體系統的科技投資效益的角度來考慮的。從投資學角度來講,建設這樣的軟體系統,將花費多少費用,是否符合需求方的支撐能力?在追求系統高效能的同時,投資費用卻要受到限制,不能超出需求方的經濟水平,故只能採取折中的辦法。在投資前對多個被選方案分別進行經濟效能評估,然後由決策者從中選擇認為是最為可行的一種。經濟性評估的主要內容就是費用**。
2、效能評估
系統效能,是預期乙個系統滿足一組特定任務的程度的量度。它是系統的綜合性能的反映,是系統的整體屬性。效能評估,就是要對系統進行綜合分析,把系統的各項效能與任務要求綜合比較,最終得到表示系統的優劣程度的結果。
軟體系統的效能,可以細分為軟體系統的自身效能和應用效能。自身效能是軟體系統本身固有的效能,它體現了軟體系統本身的完備性;應用效能是軟體系統在應用過程中的體現的效能,是對社會的貢獻。
3、效能評估
系統效能評估是對系統的單項指標的評估,與效能相比,系統效能是絕對的,針對於產品。而效能是比較抽象的,針對於使用者的。對於複雜的軟體系統,系統的效能指標包擴很多內容,有關文獻把其分為三個層次:
第一,使用者層次;
第二,系統負責人層次;
第三,子系統設計者層次;
不同層次的工作人員,對系統效能指標的側重程度是不一樣的。
三. 軟體系統評價的主要任務、應掌握的原則、注意的問題
1、評價的主要任務有以下方面:
分析論證軟體系統的組成規模和方案優劣
檢驗軟體系統的完備性、一致性和正確性
論證軟體系統內部要素的相互關係和對系統總體效能的影響
軟體系統結構合理性分析
軟體系統效能指標的靈敏度分析
2、應掌握的原則和觀點
系統的觀點
軟體系統的效能不是系統各個子系統效能的簡單總和而是有機綜合
滿意的觀點
軟體系統是乙個複雜的資訊系統,嚴格數學意義上的系統最優概念是不存在的,只能求得滿意的系統和可行的解
目標和準則的觀點
系統的優劣是相對目標和準則而言的
3、要注意的問題:
所闡述的問題是否為實際性的問題
評估過程中所作假定的合理性問題
效能度量與任務目標的相稱性問題
評估方案的合理性問題
評估模型正確性及敏感性問題
評估的可信度問題
四. 軟體系統評估存在的問題
對軟體系統評估理論和研究現狀的認識是我們研究的起點,從中可以確定提
高的方向,目前對軟體系統的評估普遍存在以下幾個方面的問題:
1、多元化的評估標準
這是指評估的觀點不一致,標準不統一,各種評估結果之間缺乏對比性。這種非制度化、非標準化、非規範化的狀態造成了評估權威性的失落,使得相當多的人對評估抱有一種「怎麼都行」的態度。
2、效能指標的無限定性
這是指效能指標或者不與使命任務相聯絡,或者不和具體的應用環境相依存,脫離了約束條件而抽象存在。這種指標對於指導具體使用是空泛無力的。
3、向技術指標傾斜存
這是用若干技術指標構造效能指標,甚至直接用用技術指標代替效能指標的做法,即把效能指標建立在技術指標之上。這樣的評估要麼不能綜合地反映系統效能,要麼不能可靠地反映出複雜多變的系統行為效果。
4、評估過程的不可重複性
如果評估過程不具有可重複性,就會使評估結果失去必然性。
目前的評估方法和模型紛繁不一,其中影響較大的有sea方法、系統動力學方法、petri分析法、試驗床法、影響圖方法、步驟化指控評估結構模型和層次分析法等方法和模型,這些方法和模型以評價目的為中心,從不同的角度**了軟體系統的評價問題,在實際的應用中得到了許多的積極成果,但也同時暴露出了需要繼續完善和進一步發展的地方。因此,我們有必要對對這種理論現狀進行分析研究,指明一些問題,在評估的思想和方法上闡明自己的觀點。
五. 軟體系統評估的步驟
通常的軟體系統評估由七個步驟組成,即:問題定義、確定系統邊界、過程定義、靜態與動態整合、評估指標確定、資料產生、指標綜合。
1、 問題定義(problem formulation):
就是針對特定的問題提出決策者的需求和目標。這一步驟的輸出就是對問題的乙個更精確的說明和描述,而且這一說明和描述可以翻譯成系統要達到的目標。這個目標又應進一步具體化為系統的實際目標而且是可操作的。在這一步驟中,評價過程中涉及到許多的概念、想定及其它假定等。
2、 確定系統邊界(system bounding):
這一步驟就是確定與問題有關的各種要素,包括:
物理實體(裝置、軟體、人員等);
結構(組織、應用環境、步驟、過程、協議、資訊流和模式等);
系統的功能說明;
邊界定義:子系統、系統、環境等。
3、 過程定義(process definition):
這一步驟就是在給定系統設定,執行環境想定和任務的情況下,來定義完成任務所需的各種過程,如資訊收集過程、資料處理過程和通訊過程等。
4、 動態與靜態整合(integration of statics and dynamics):
這一步驟的作用就是把資料流、資訊流以及過程功能與系統組織結構聯絡起來,同時將系統中的物理實體也與上述過程功能聯絡起來。這裡動態與靜態分別表示不同的系統框架。靜態表示系統的物理實體及其結構,這是因為結構變化隨時間變化是很慢的。而動態則可以與過程實現的功能相比較,這些功能變化很快,通常過程模型中的動態流可以用petri網、資料結構圖(dsd)或資料流圖(dfd)表示。
5、 度量指標的確定(specification of measures):
確定系統的度量指標或準則,貫穿於前述四個步驟。
6、 資料產生步驟(data generation):
本步驟就是通過演習、**、試驗或主觀判斷來完成軟體系統評價資料的收集工作。對於某一特定問題和執行環境想定,關於步驟5中說明的各種指標的資料可以直接獲得,也可間接推出的。
7、 度量指標的綜合(aggregation of measures):
這是乙個指標的綜合評價和解析步驟。這一步驟的分析結果是直接用來回答在問題定義(步驟1)中由決策者提出的問題。通常,該步驟可以用來評價軟體系統方案的改進程度、多方案的優劣程度等。
小結
本文在總結目前有關軟體系統效能評估研究成果的基礎上,討論了軟體系統的評估理論問題,提出了軟體系統評估的基本概念、分類、主要任務、應掌握的原則、注意的問題、存在的問題以及評估的步驟。這將有助於專案管理人員對軟體系統的評估工作。當然,由於軟體系統的基礎理論體系還處於發展階段,作為軟體系統基礎理論一部分的評價技術和理論也還有待研究者進一步探索,因此,發展和完善軟體系統評價技術和理論依然是需要我們繼續進行探索的。
參考書目:
1.《安全軟科學的理論與應用》 曲和鼎,王衡毅 天津科技翻譯出版社
2.《現代安全管理方法》 韓軍,劉佔傑等 機械工業出版社
3.《mpa全集》 吳柏鴻等 企業管理出版社
軟體系統效能常識
分類 技術研究 架構設計 2011 06 11 18 28 137人閱讀收藏 舉報 不管是系統設計人員 開發人員還是測試人員,要構建高效能的系統,對於系統效能的一些常用術語都不了解,那是無從做起的,這裡主要介紹幾個軟體效能指標的術語及計算方法,便以在效能優化及效能評判時有的放矢 1.響應時間 響應時...
軟體系統效能常識
不管是系統設計人員 開發人員還是測試人員,要構建高效能的系統,對於系統效能的一些常用術語都不了解,那是無從做起的,這裡主要介紹幾個軟體效能指標的術語及計算方法,便以在效能優化及效能評判時有的放矢 1.響應時間 響應時間是系統對使用者請求作出響應的時間,響應時間是使用者對系統效能最直觀的感受,因此直接...
軟體系統效能常識
不管是系統設計人員 開發人員還是測試人員,要構建高效能的系統,對於系統效能的一些常用術語都不了解,那是無從做起的,這裡主要介紹幾個軟體效能指標的術語及計算方法,便以在效能優化及效能評判時有的放矢 1.響應時間 響應時間是系統對使用者請求作出響應的時間,響應時間是使用者對系統效能最直觀的感受,因此直接...