思博伦 Abacus5000 VoIP和PSTN语音测试系统

思博伦 Abacus5000 VoIP和PSTN 语音测试系统

思博伦的Abacus 5000系列产品，包括Abacus5000和Abacus100是集成在一个平台中的VoIP和PSTN语音测试系统。Abacus 5000是一款高性价比、灵活的和可伸缩的IP电话测试系统，具有全面测试融合IP电话网络设备所需的集成模拟，TDM和以太网接口。同系列的产品中还有Abacus100，可以提供100路FXO模拟接口，适用于高密度的模拟性能测试。
Abacus5000系列产品能够使用户能够客观地在真实的语音/视频流负载条件下，测试网络性能以及语音质量（MOS，PSQM，PSQM+，PESQ，MOS_LQ0，R-factor，J-MOS，E-model）。我们还可以让它应用于中继信令测试、功能测试、容量测试和兼容性互操作性测试。Abacus5000系列产品可以由同一个操作平台控制32个测试点，针对运营商的运行维护需求，做分布式网络测试。Abacus5000系列产品所承载的媒体格式包括单音/多音，WAV，视频H.263/H.264编解码，语音Mobile NB GSM-AMR，EVRC，EVRC-B，iLBC，GSM-EFR/FR编解码以及G.711，G.726，G.723，G.729和G.722.x（宽带语音）编解码。支持协议包括模拟FXO与FXS（环路启动/地气启动)，SS7（ISUP/TCAP/INAP/SCCP），CAS，MF R1/R1.5/R2，ISDN PRI，GR-303，V5.1/V5.2，H.323，SIP，MGCP，H.248/Megaco，Skinny，NCS，SIP-T/SIP-I，SIGTRAN (M2UA/M3UA/IUA)以及T.30和T.38传真，V.34的Modem。
3.Abacus产品在呼叫中心测试的应用
4.某银行呼叫中心系统测试方案
如图1和图2所示，Abacus5000仿真电信网络及其电话用户（800），以ISDN-PRI信令通过E1接口接入IVR系统，产生测试话务量；Abacus100仿真摘机器（普通电话机800），通过模拟两线接口接入语音接入网关，仿真电话摘机通话。由Abacus5000来仿真的电信系统话务量可以测试IVR系统的性能以及各个菜单的语音匹配能力；由Abacus5000和Abacus100组成的发送和接受话路可以测试呼叫中心系统在满负荷的情况下的语音质量。当然，如果呼叫中心系统具有语音录制和语音提取功能（类似语音信箱），我们还可以使用Abacus5000对于语音信箱的性能和语音质量进行测试。

我们假设需要840路电信用户仿真，并以此举例说明某银行呼叫中心（IVR）系统的测试方法。

5、呼叫中心（IVR）系统测试方法
IVR测试一般分为三个层次，性能压力测试、语音匹配测试（包括各个菜单）、语音质量测试。其中，最关键的是性能压力测试，它的测试目的有两个：第一是搞清楚被测试系统（DUT）的最大的呼叫处理能力（无差错点）；第二是搞清楚在它的最大压力条件下能够无故障工作多长时间。
5.1 性能压力测试
（1）性能测试的几个概念
?BHCA（Busy Hour Call Attempt），忙时呼叫次数。它表示DUT在一个小时内最大的呼叫处理次数，当然在没有差错的情况下，或者差错率很低（业内差错率为万分之一以内）。我们一般用BHCA表示系统的呼叫处理能力。

?CPS，每秒钟呼叫次数。它表示DUT在一秒钟内最大的呼叫处理次数，和BHCA的关系是3600倍。

?系统支持的呼叫通道数，指DUT最大支持的呼叫通道数目。例如，IVR对外呼入接口有28个E1，那么它所支持的最大呼叫通道数目就是840。

?系统支持的并发呼叫通道数，指DUT能够处理的最大并发通道数目，一般能够达到它的最大支持通道数目的10%-50%不等，需要和系统提供商沟通清楚，当然也需要实际测试。

?呼叫完成率，呼叫完成次数与呼叫总次数的比率。业内要求达到4个9，即99.99%。

?呼损率，呼叫失败次数与呼叫总次数的比率。业内要求万分之一以内。它与呼叫完成率之和为100%。

?无差错点，指呼叫完成率达到业内要求情况下的最大呼叫量，即DUT的能够承受的最大呼叫处理次数。

?平衡点，指用户感受良好情况下的无差错点。用户感受部分包括语音质量、呼叫延迟、回声、语音间断等等方面，需要测试语音匹配和语音质量才能定位。一般认为平衡点才是DUT真正的呼叫处理能力，因为随着呼叫压力的增加，用户感受会恶化。

（2）性能测试项目（举例：DUT=IVR系统，可以提供28个E1接口作为呼入，最大允许接入840路）
并发呼叫测试
?测试目的：找到DUT的并发呼叫无差错点。即找到DUT在异常条件下（许多呼叫并发呼入）支持的最大处理呼叫次数。

?测试方法：呼叫测试仪表使用28个E1，产生840路并发（即同时呼叫）IVR呼入呼叫，通过二分法找到无差错点。例如，840路并发，出现大面积呼损时，下次测试改为840/2=420路并发呼叫，直到呼损率下降到万分之一。一般的测试时间为24h，也有更严格的测试为48h或者72h。

?测试结果：满足无差错点的要求，记录呼叫完成率和呼损率。

异步呼叫测试
?测试目的：找到DUT的异步呼叫无差错点。即找到DUT在正常条件下（呼叫压力逐步增加）支持的最大处理呼叫次数。

?测试方法：呼叫测试仪表使用28个E1，产生840路IVR呼入呼叫，每个通道的呼叫间隔1s，通过二分法找到无差错点。一般的测试时间为24h，也有更严格的测试为48h或者72h。

?测试结果：满足无差错点的要求，记录呼叫完成率和呼损率。

仿真呼叫测试
?测试目的：找到DUT在各种呼叫模型条件下的呼叫无差错点。即找到DUT在仿真真实网络条件下（存在各种呼叫模型，包括波松分布、阶梯分布等）支持的最大处理呼叫次数。

?测试方法：呼叫测试仪表使用28个E1，产生840路IVR呼入呼叫，注意使用各种不同的呼叫模型，产生不同变化的呼叫压力（不同的CPS），通过二分法找到无差错点。例如，在某种呼叫模型下20CPS时，如果出现大面积呼损，下次测试改为20/2=10CPS呼叫；如果再有呼损，则改为5CPS呼叫，直到呼损率下降到万分之一。一般的测试时间为24h，也有更严格的测试为48h或者72h。

?测试结果：满足无差错点的要求，记录呼叫完成率和呼损率。

5.2 语音匹配测试
（1）语音匹配测试目的
?进一步验证IVR系统的性能。语音匹配测试是在性能压力测试基础上，验证系统在极限压力条件下（无差错点），各个菜单的语音提示是否正常按时发出，用户能否正常听到。一般来说，当话务量达到IVR系统极限时，语音提示的播放就会因为大量呼叫排队而变慢，甚至出现播放错误，当播放延迟超过正常2s（业内标准）或者语音匹配差错率过高（业内差错率为万分之一以内）时，我们在性能压力测试中得到的无差错点就会受到质疑。

?得到真实用户的感受。语音匹配测试可以帮助测试者，得到一些用户感受的指标，例如用户平均多长时间能够听到语音提示，最长需要多少秒，最少需要多少秒。这样就会方便我们判断有多少用户因为长时间听不到语音提示而放弃呼叫的，因此语音匹配时间参数也是我们的客户服务指标之一。

（2）语音匹配测试项目
欢迎词匹配测试
?测试目的：检验IVR系统在极限条件下（无差错点）对于欢迎词的语音匹配情况（包括匹配错误率和匹配延迟）。

?测试方法：呼叫测试仪表使用28个E1，在840路同步并发（即同时呼叫）、异步呼叫（间隔一秒）、仿真呼叫（各种呼叫模型）等条件下，产生性能测试中的极限话务量（无差错点话务量），通过二分法找到语音匹配无差错点。一般采用降低呼叫压力的方法，减低并发呼叫路数或者降低CPS来确定语音匹配的无差错点。语音匹配的无差错点定义为：差错率在万分之一以内；匹配延迟在2s以内。一般的测试时间为24h，也有更严格的测试为48h或者72h。
?测试结果：找到无差错点，记录语音匹配差错率和匹配延迟。

菜单中语音匹配测试
?测试目的：检验IVR系统在极限条件下，各级菜单的语音匹配情况（包括匹配错误率和匹配延迟）。

?测试方法：呼叫测试仪表使用28个E1，在840路同步并发（即同时呼叫）、异步呼叫（间隔1s）、仿真呼叫（各种呼叫模型）等条件下，产生性能测试中的极限话务量（无差错点话务量），通过二分法找到语音匹配无差错点。一般采用降低呼叫压力的方法，减低并发呼叫路数或者降低CPS来确定语音匹配的无差错点。语音匹配的无差错点定义为：差错率在万分之一以内；匹配延迟在2s以内。每一级菜单的语音匹配差错率，在相同话务量的情况下应该有所不同；菜单越深，差错率越高，因此需要降低话务量来查找无差错点。一般的测试时间为24h，也有更严格的测试为48h或者72h。

?测试结果：找到无差错点，记录语音匹配差错率和匹配延迟。

5.3 语音质量测试
（1）语音质量测试目的
?进一步验证呼叫中心（IVR+CTI+IP传输）系统的性能。语音质量测试是在性能压力测试和语音匹配基础上，验证系统在极限压力条件下（无差错点），用户和话务员之间的端到端通话质量。一般来说，当话务量达到IVR系统极限时，CTI对语音的处理和IP网络对语音的传输都会出现问题，导致语音质量指标下降，当单向延迟（通话一端传送话音到另外一端所需要的时间）超过150ms（ITU推荐标准）或者语音质量分数低于标准（G.711时PESQ应＞4.0分；G.729时PESQ应＞3.7分）时，就会大大影响用户通话的感受，导致部分用户放弃呼叫。语音质量测试会找到真正意义的平衡点。

?得到真实用户的感受。语音质量测试可以帮助测试者，得到一些用户感受的指标，例如话务员的话音需要多长时间才能让用户听到，有没有回声，有没有语音间断和语音滑码，语音评价指标MOS/PSQM/PESQ能够打多少分。这些语音质量测试参数也是我们的客户服务指标之一。

（2）语音质量测试项目
端到端语音质量测试
?测试目的：检验呼叫中心系统在极限条件下（无差错点）的端到端（即客户到话务员）语音质量，包括男声、女声以及G.711/G.729等不同编解码对语音质量的影响。

?测试方法：呼叫测试仪表使用28个E1，在840路同步并发（即同时呼叫）、异步呼叫（间隔1s）、仿真呼叫（各种呼叫模型）等条件下，产生性能测试中的极限话务量（无差错点话务量），通过二分法逐步降低话务量，直到全部话路都能够接入话务员（由Abacus100仿真），并检验相应语音质量指标是否达到业内标准，即找到客户感受良好的平衡点。一般的测试时间为24h，也有更严格的测试为48h或者72h。

?测试结果：记录平衡点的呼叫压力（CPS）、语音质量指标（MOS/PSQM/PESQ）、单向延迟、回声、语音间断与滑码等。

语音信箱的语音质量测试（可选项目）
?测试目的：检验呼叫中心的语音信箱系统在极限条件下（无差错点）语音提取（即客户从语音信箱中提取留言）时的语音质量，包括男声、女声对语音质量的影响。

?测试方法：呼叫测试仪表使用低负荷对呼叫中心系统中的语音信箱进行“留言录入”，直到语音信箱全部录入留言。然后，呼叫测试仪表分别在低负荷、中负荷、高负荷背景话务量条件下进行“留言提取”，呼叫路数与语音信箱最大路数相同，通过语音波形图的比较，根据ITU的规范，得到语音质量评分（MOS/PSQM/PESQ）找到客户感受良好的平衡点。一般的测试时间为24h，也有更严格的测试为48h或者72h。
?测试结果：记录平衡点的呼叫压力（CPS）、语音质量指标（MOS/PSQM/PESQ）。
6、补充说明
以上测试方案仅仅以某银行的呼叫中心测试为蓝本进行探讨，也仅仅涉及了电信E1接口和模拟线接口。目前，VoIP特别是SIP接入越来越为广大运营商和大中型企业所采用，因此思博伦在VoIP接入的呼叫中心测试领域也提供了大量的应用测试方案，但是基本的测试方法和思路是一致的——帮助客户找到真实的带有用户感受的呼叫中心性能指标，并协助分析影响性能的瓶颈。