性能測試一般指的是功能測試,主要測試還設備運用的功能有哪些,就測那些固定參數(shù)是否符合規(guī)定。性能測試是通過自動化的測試工具模擬多種正常、峰值以及異常負載條件來對系統(tǒng)的各項性能指標進行測試。負載測試和壓力測試都屬于性能測試,兩者可以結合進行。功能測試就是對產(chǎn)品的各功能進行驗證,根據(jù)功能測試用例,逐項測試,檢查產(chǎn)品是否達到用戶要求的功能。
性能是一種指標,表明軟件系統(tǒng)或構件對其及時性要求的符合程度;其次,性能是軟件產(chǎn)品的一種特性,可以用時間來進行度量。性能的及時性用響應時間或吞吐量來衡量。響應時間是指服務器對請求作出響應所需要的時間。常見的性能測試方法如下:
1.負載測試
在這里,負載測試指的是最常見的驗證一般性能需求而進行的性能測試,在上面我們提到了用戶最常見的性能需求就是“既要馬兒跑,又要馬兒少吃草”。因此負載測試主要是考察軟件系統(tǒng)在既定負載下的性能表現(xiàn)。我們對負載測試可以有如下理解:
(1)負載測試是站在用戶的角度去觀察在一定條件下軟件系統(tǒng)的性能表現(xiàn)。
(2)負載測試的預期結果是用戶的性能需求得到滿足。此指標一般體現(xiàn)為響應時間、交易容量、并發(fā)容量、資源使用率等。
2.壓力測試
壓力測試是為了考察系統(tǒng)在極端條件下的表現(xiàn),極端條件可以是超負荷的交易量和并發(fā)用戶數(shù)。注意,這個極端條件并不一定是用戶的性能需求,可能要遠遠高于用戶的性能需求??梢赃@樣理解,壓力測試和負載測試不同的是,壓力測試的預期結果就是系統(tǒng)出現(xiàn)問題,而我們要考察的是系統(tǒng)處理問題的方式。比如說,我們期待一個系統(tǒng)在面臨壓力的情況下能夠保持穩(wěn)定,處理速度可以變慢,但不能系統(tǒng)崩潰。因此,壓力測試是能讓我們識別系統(tǒng)的弱點和在極限負載下程序將如何運行。
3.并發(fā)測試
驗證系統(tǒng)的并發(fā)處理能力。一般是和服務器端建立大量的并發(fā)連接,通過客戶端的響應時間和服務器端的性能監(jiān)測情況來判斷系統(tǒng)是否達到了既定的并發(fā)能力指標。負載測試往往就會使用并發(fā)來創(chuàng)造負載,之所以把并發(fā)測試單獨提出來,是因為并發(fā)測試往往涉及服務器的并發(fā)容量,以及多進程/多線程協(xié)調同步可能帶來的問題。這是要特別注意,必須測試的。
4.基準測試
當軟件系統(tǒng)中增加一個新的模塊的時候,需要做基準測試,以判斷新模塊對整個軟件系統(tǒng)的性能影響。按照基準測試的方法,需要打開/關閉新模塊至少各做一次測試。關閉模塊之前的系統(tǒng)各個性能指標記下來作為基準(Benchmark),然后與打開模塊狀態(tài)下的系統(tǒng)性能指標作比較,以判斷模塊對系統(tǒng)性能的影響。
5.穩(wěn)定性測試
“路遙知馬力”,在這里我們要說的是和性能測試有關的穩(wěn)定性測試,即測試系統(tǒng)在一定負載下運行長時間后是否會發(fā)生問題。軟件系統(tǒng)的有些問題是不能一下子就暴露出來的,或者說是需要時間積累才能達到能夠度量的程度。為什么會需要這樣的測試呢?因為有些軟件的問題只有在運行一天或一個星期甚至更長的時間才會暴露。這種問題一般是程序占用資源卻不能及時釋放而引起的。比如,內(nèi)存泄漏問題就是經(jīng)過一段時間積累才會慢慢變得顯著,在運行初期卻很難檢測出來;還有客戶端和服務器在負載運行一段時間后,建立了大量的連接通路,卻不能有效地復用或及時釋放。
6.可恢復測試
測試系統(tǒng)能否快速地從錯誤狀態(tài)中恢復到正常狀態(tài)。比如,在一個配有負載均衡的系統(tǒng)中,主機承受了壓力無法正常工作后,備份機是否能夠快速地接管負載。可恢復測試通常結合壓力測試一起來做。
提示:每種測試有其存在的空間和目的。當我們接手一個軟件項目后,在有限的資源條件下,選擇去做哪一種測試,這應該根據(jù)當前軟件過程階段和項目的本身特點來做選擇。比如,在集成測試的時候要做基準測試,在軟件產(chǎn)品每個發(fā)布點要做性能測試。
總的來說,系統(tǒng)性能包括時間和空間兩個維度,時間是指客戶操作業(yè)務的響應時間,空間是指系統(tǒng)執(zhí)行客戶端請求時,系統(tǒng)資源消耗情況。客戶關注的性能只是時間的表現(xiàn),客戶不關注是什么原因引起的性能問題,但性能測試工程師和系統(tǒng)工程師就必須關注系統(tǒng)資源使用的情況。性能測試是測試系統(tǒng)端到端(即客戶端發(fā)送請求經(jīng)過服務器將信息返回的過程)的性能指標,目前在系統(tǒng)設計階段無法設計出一個定量性能的系統(tǒng),即開發(fā)工程師無法保證設計好的系統(tǒng)其性能表現(xiàn)如何,還是得靠測試來驗證性能的表現(xiàn),性能測試是一系列的測試過程。在系統(tǒng)投入到市場之前,必須對系統(tǒng)的性能進行測試,否則無法確定系統(tǒng)的性能是否能滿足客戶的需求。