TestQuest CountDown手機(jī)自動(dòng)測試方案
一、全球無線和移動(dòng)設(shè)備制造商所面臨的挑戰(zhàn)
隨著GSM、CDMA、WCDMA、CDMA2000及中國自主研發(fā)的TD-SCDMA等手機(jī)新技術(shù)的不斷涌現(xiàn),基于業(yè)務(wù)應(yīng)用層面開發(fā)和測試比重的增加,復(fù)雜度的不斷提高以及手機(jī)和傳統(tǒng)上基于PC的應(yīng)用服務(wù)的快速融合,使得手機(jī)測試的難度和工作量大大增加。同時(shí),由于市場的競爭越來越激烈,每款手機(jī)的生命周期越來越短,手機(jī)廠商都希望領(lǐng)先于競爭對(duì)手將自己的新款手機(jī)投放市場以獲得更多的利潤,這就意味著留給手機(jī)研發(fā)和測試的時(shí)間將大大的減少.在全球化市場中,設(shè)備制造商除按照地域性要求對(duì)終端功能進(jìn)行定制外,還要滿足國際移動(dòng)運(yùn)營商的入網(wǎng)測試需求,這對(duì)于國內(nèi)終端設(shè)備制造商來說又是一個(gè)挑戰(zhàn)。因此,如何在最短的時(shí)間內(nèi),最大限度地測試手機(jī)的各項(xiàng)功能和應(yīng)用,有效的面對(duì)手機(jī)測試過程中日益增加的復(fù)雜性,并滿國際移動(dòng)運(yùn)營商的需要,同時(shí)大幅降低手機(jī)測試的成本就成了擺在每一個(gè)手機(jī)廠商面前的一個(gè)重大課題。
二、全球無線和移動(dòng)設(shè)備制造商的測試需求
為了提高最終用戶體驗(yàn),增加用戶的忠誠度,移動(dòng)運(yùn)營商及移動(dòng)設(shè)備制造商隨著用戶要求的不斷提高以及通過不斷的積累,都要求對(duì)移動(dòng)設(shè)備在推向市場之前進(jìn)行以下的測試:
l 功能性測試、壓力測試、性能測試和回歸測試
l 不同操作系統(tǒng)和硬件平臺(tái)之間的兼容性測試
l 不同網(wǎng)絡(luò)環(huán)境下的交互性測試
l與其它廠商制造的設(shè)備之間的一致性測試
l 應(yīng)用程序之間并發(fā)性測試
l 其它Non-UI測試
從此可以看出,測試工作非常復(fù)雜,并且工作量巨大。而現(xiàn)在很多國內(nèi)的移動(dòng)設(shè)備制造商還在采用手工測試,而手工測試是存在著很大的局限性的:
l 可靠性低:測試工程師在很小的手機(jī)屏幕上操作太久則容易疲倦,造成測試可靠性下降。比如,測試工程師可能會(huì)混淆‘O’和‘0’,或無意中跳過測試規(guī)范中的一頁。
準(zhǔn)確性差:比如,測試工程師難以發(fā)現(xiàn)包含100個(gè)字符的文本信息中的一個(gè)錯(cuò)誤,或由于一步操作失誤而不得不重新開始一個(gè)測試用例。
l 覆蓋率?。菏止y試難以發(fā)現(xiàn)出現(xiàn)概率較小的錯(cuò)誤,或難以重現(xiàn)之前發(fā)現(xiàn)的錯(cuò)誤。
l 一致性差:當(dāng)測試并發(fā)事件時(shí),需要同時(shí)操作多個(gè)終端或同時(shí)運(yùn)行多個(gè)應(yīng)用程序。手工操作很難控制。
l 測試過程的不可重現(xiàn)性。
l 測試速度較慢,無法進(jìn)行7*24的工作。
因此,采用手工測試是不可能很好的在產(chǎn)品投向市場前的最后一關(guān)保證優(yōu)良的產(chǎn)品質(zhì)量的。
三、現(xiàn)有的自動(dòng)化測試工具已難以適應(yīng)無線和移動(dòng)行業(yè)日益增長的測試需求
由于手工測試的一些弊端,很多移動(dòng)終端制造商大都早已開始了自動(dòng)化測試工具的開發(fā)及使用,然而傳統(tǒng)的自動(dòng)化測試工具對(duì)人員要求很高,而且還存在著操作系統(tǒng),手機(jī)型號(hào)不同而導(dǎo)致測試用例的不可重用性。
l 需要用戶具有很強(qiáng)的編程技巧,需要編寫大量腳本(C/Tcl/Tk…)來創(chuàng)建測試用例。
l QA部門(組織)熟悉行業(yè)測試規(guī)范,但是一般沒有自己的技術(shù)開發(fā)團(tuán)隊(duì),難以完成大量的編程工作。
l 傳統(tǒng)的自動(dòng)化測試工具大多專門為某個(gè)手機(jī)平臺(tái)或操作系統(tǒng)設(shè)計(jì),很難應(yīng)用于其它手機(jī)平臺(tái)或操作系統(tǒng)。
l 市場上終端采用的硬件平臺(tái)、操作系統(tǒng)以及網(wǎng)絡(luò)制式各不相同。在傳統(tǒng)的自動(dòng)化測試工具中開發(fā)的測試用例很難在不同的終端之間進(jìn)行移植。
四、TestQuest自動(dòng)化測試平臺(tái)– CountDown
美國TestQuest公司作為在全球手機(jī)及移動(dòng)應(yīng)用測試領(lǐng)域的領(lǐng)先廠商,基于近10年來和Verizon等全球知名的移動(dòng)運(yùn)營商,Nokia、Motorola、Samsung、ZTE等手機(jī)廠商的合作過程中所積累的豐富經(jīng)驗(yàn),于2006年正式推出了第四代自動(dòng)化測試平臺(tái)CountDown,從而真正解決了對(duì)任何手機(jī)制式,任何操作系統(tǒng)以及任何硬件平臺(tái)的手機(jī)進(jìn)行自動(dòng)化測試的難題.
l 專門為無線和移動(dòng)行業(yè)設(shè)計(jì)的自動(dòng)化測試平臺(tái)。集成了測試開發(fā)、測試管理與測試執(zhí)行功能;支持分布式研發(fā)團(tuán)隊(duì)之間測試資源的開發(fā)與共享。我們提供7/24的自動(dòng)化測試解決方案,以幫助無線和移動(dòng)設(shè)備制造商縮短產(chǎn)品在市場上推出的時(shí)間。
l 適用于所有類型(Windows Mobile/Symbian/Linux/Brew等開放式操作系統(tǒng)和專用/私有操作系統(tǒng),所有硬件平臺(tái)GSM/GPRS/WCDMA/CDMA/CDMA2000/TD-SCDM等制式)的手機(jī)和手持終端設(shè)備,提供完整端到端的自動(dòng)化測試解決方案。
l 自動(dòng)測試過程基于UI(用戶接口)/MMI(人機(jī)接口)實(shí)現(xiàn):通過控制終端的鍵盤、旋鈕和觸摸屏來模擬測試工程師的雙手操作;通過抓取LCD屏幕顯示圖像進(jìn)行智能OCR識(shí)別來模擬測試工程師的雙眼辨識(shí)文字或圖像信息。真正實(shí)現(xiàn)獨(dú)立于任何操作系統(tǒng)、任何硬件平臺(tái)或任何網(wǎng)絡(luò)制式的自動(dòng)測試。
l 全圖形化的開發(fā)環(huán)境,使得用戶無需編寫任何代碼即可完成測試用例的開發(fā)、調(diào)試及運(yùn)行。并且,開發(fā)完成的測試用例,無需改動(dòng)或稍微改動(dòng),即可移植應(yīng)用到其它類型的手機(jī)或手持終端設(shè)備。
CountDown自動(dòng)化平臺(tái)由TestDesigner, TestManager, TestRunner and AssetManager組成:
TEST
DESIGN
TestDesigner
TEST MANAGEMENT
TestManager
TEST
EXECUTION
TestRunner Device Access Services
TEST ASSET MANAGEMENT
AM
AssetManager
TestDesigner 是一個(gè)全圖形化的開發(fā)環(huán)境。用戶無需編寫任何代碼即可實(shí)現(xiàn)Test Case的開發(fā)、調(diào)試及運(yùn)行。
TEST
DESIGN
TestDesigner
TEST
DESIGN
TestDesigner
TestManager 是基于IE 瀏覽器開發(fā)的測試資源管理工具。幫助用戶進(jìn)行測試規(guī)劃、測試執(zhí)行并對(duì)測試結(jié)果進(jìn)行分析。
TestRunner / DAS(Device Access Software) 控制本地或遠(yuǎn)程終端運(yùn)行測試任務(wù),并將測試過程中產(chǎn)生的日志(Log) 文件傳送到TestManager 以生成測試報(bào)告。
AssetManager 使用MS SQL Server 數(shù)據(jù)庫統(tǒng)一存貯和管理測試資源,以方便各個(gè)分布式開發(fā)團(tuán)隊(duì)之間的資源共享。
CountDown的各個(gè)模塊不但功能上相互獨(dú)立,還可以根據(jù)用戶的具體需求布置在不同的地理位置;真正實(shí)現(xiàn)了全球范圍內(nèi)團(tuán)隊(duì)間的協(xié)作開發(fā)。
可以真正實(shí)現(xiàn):
l 測試任何類型的手機(jī)或手持終端設(shè)備
l 同時(shí)連接多個(gè)終端設(shè)備進(jìn)行端到端的系統(tǒng)測試
l 測試資源跨平臺(tái)的移植和重復(fù)使用
l 實(shí)現(xiàn)整個(gè)移動(dòng)產(chǎn)業(yè)鏈上不同測試團(tuán)隊(duì)之間的開發(fā)協(xié)作
評(píng)論