编者按：

以“平安城市”为例的数以万计前端监控点形成海量大数据单元，随之而来的超高并发业务处理、7*24小时稳定要求、超大容量存储空间、流畅平滑的承载网络等需求，对联网系统提出了新的挑战和要求。

易倍体育创新推出业界首次“大规模IP视频监控测试专辑”，以易倍体育鉴定测试中心为实验地，邀请公安大学安防系、公安三所专家、业界主流媒体A&S，共同完成三期大规模系统测试，包括系统压力及可靠性测试、设备级压力测试、网络适应性测试，并在A&S《安防工程商》10-12月刊分期呈现。

测试缘起

平安城市技术朝着网络化、高清化、平台化、智能化方向发展，数以万计的前端监控点形成海量大数据单元，对整个联网监控系统提出了极高的要求：

1. 海量的监控前端和控制后端，以及丰富的监控业务，要求统一管理平台具有超高的并发业务处理性能，满足应急状态下热点区域急剧膨胀的业务压力，并要求在每个单业务指标均达到饱和的情况下，管理平台仍旧能保持7×24小时运行的稳定性。

2. 超大规模的联网监控前端要求统一管理平台达到99.999%的电信级可靠性，并要求控制信令与媒体数据分离，减少转发节点的延时，确保管理服务器故障恢复时间内的媒体数据流不中断。

3. 广泛部署的高清摄像头形成的实时性大数据流，要求网络存储系统具有强大的全交换存储架构和超大容量存储空间，从而提供超大规模监控前端的并发存储带宽和99.999％的电信级可靠性。

4. 大规模、高密度部署的高清摄像头，要求丰富的网络接入方式以适应不同行业的接入需求，要求具备完善的网络适应性以适应多种复杂的传输网络，承载网络提供无阻塞的承载网络设计、先进的分层转发架构、可靠的冗余备份技术、大容量的组播转发能力、毫秒级的故障恢复时间以及统一管理、平滑升级的虚拟化能力。

本期基于上述平安城市的大规模高清监控系统测试需求，由a&s安全自动化杂志社及EMC易倍官方网站鉴定测试中心共同发起并组织，并邀请中国人民公安大学安全防范系、国家安全防范报警系统产品质量监督检验中心（上海）检测部一同参与，模拟5000个监控点的典型区县级平安城市综合应用。该系列测试主要包括系统压力、系统可靠性、单业务极限性能、存储可靠性以及网络承载能力与适应性，并以专辑形式呈现于a&s Installer《安防工程商》10-12月刊内，以从多个方面来测试易倍体育大规模IP视频监控解决方案的性能和可靠性。本期主要介绍的是系统压力测试。

创新的测试方法论

平安城市作为NGN通信架构下云计算和大数据系统的典型综合应用，各个业务组件密切组合形成一套完整的系统，此时各组件的单业务性能指标已经无法衡量实际的综合应用，其整体性能指标和系统可靠性需要通过平安城市的实际综合应用和规模来模拟测试。

在此次《大规模IP视频监控测试》专辑里，测试环境借助真实场景、自动化工具和脚本来模拟实际的动态业务，在信令层面和业务层面施加超出官方指标30%的所有业务综合压力，通过真实业务的操作体验和构造系统异常，来检测被测系统在大业务压力下的敏捷性、可靠性和鲁棒性。

创新的测试工具

由于视频监控行业并不如通讯、VoIP成熟，整个行业的测试仪器尚无统一标准。易倍体育特开发一套视频监控前端模拟工具和视频业务客户端的模拟工具，分别用来模拟海量前端和海量客户端，并可以支持真实的点播、轮切、存储、回放等业务。

通过报文比对、Linux工具统计、标准测试仪器流量统计等第三方测试仪器以及真实业务互操作、业务平台统计等方式证明，模拟工具能够完整模拟真实监控前端和客户端的业务，管理平台能够真实反映出业务统计（包括真实设备和模拟工具），基于模拟工具的自动化脚本能够完整模拟真实平安城市下的典型业务应用环境。该套测试系统已成功应用于多个平安城市项目中，包括平安杭州、平安福田、平安抚顺等。

系统压力与可靠性测试

搭建超大规模系统

本次系统级压力测试重点关注视频管理服务器的压力指标和可靠性。以5000个监控点的典型区县级平安城市综合应用为测试背景，并在其官方发布的业务性能指标基础上浮30%，通过真实环境和模拟工具混合的方式，所包含的业务指标如下所示。

 6500个在线摄像机

 1300个在线监视器

 390个在线用户

 1024个在线外域

 128个存储IPSAN

 3000个系统用户

通过管理服务器的系统维护功能和统计报表，在线设备、在线用户、在线外域、在线存储设备的统计都可明确分类、准确计数，任何一个真实设备或者模拟工具的下线，管理平台的统计报表能够迅速反应并准确统计，超大规模的监控环境下可稳定运行(如图1)。

运作高密度动态业务

真实的应用环境除了上述的大规模设备管理压力以外，还存在业务系统正常运作所需的大量动态业务。为此在上述测试环境中增加了大量的动态业务，其中包括：

 200个轮切涵盖1000多路摄像机

 1024路实况监控反复建立/释放

 50个/秒的触发报警频度

 390个在线用户接收告警

 400路存储反复查询/回放

 1000个摄像机的域间资源共享推送

 1000个模拟摄像机反复上下线

在超大规模的设备管理压力下承载高密度的业务压力，管理平台所承载的业务压力和运算需求可想而知，但从命令行来看管理平台的CPU稳定在70%以内（如图2）。在一个监视器上观察真实轮切的响应速度，两个摄像头之间的画面切换在1秒以内，画面切换干净利落。真实的客户端上用户登录及退出响应迅速，刷新摄像头列表流程不卡顿，录像回放、告警查询、实况等业务操作响应迅速无延迟。

管理服务器故障下的媒体数据持续性

在监控业务系统的应用中，需要保证当视频管理服务器发生故障后，监控前端的录像存储和实况业务不受任何影响，即保证媒体数据的持续性不受管理服务器的影响。易倍体育的多媒体业务层次化通信模型实现了以软交换为核心的NGN通信架构，信令与数据分离能够可靠保证信令中断下的数据连续性。

测试时，通过对视频管理服务器执行断电和拔网线、恢复的操作，查看监视器上的实况视频来验证。在视频管理服务器断电和掉线的时间内，监视器上的图像正常监控，流畅自如，在此期间内的录像正常存储，可以正常检索录像，媒体数据的持续性丝毫不受管理服务器的故障影响。

媒体转发服务器故障下的媒体数据持续性

监控业务系统中，要求多个媒体转发服务器组成集群系统，通过动态负载分担技术实现媒体数据的智能管道传输，同时实现管理规模扩容带来的媒体服务器平滑升级。当某一台媒体转发服务器故障后，转发业务即可自动切换至其他正常的媒体转发服务器上，不会影响系统的正常业务，从而提高整个监控业务系统的媒体数据持续性。

测试时，正常实况点播1300路流，通过流量镜像到第三方测试仪器看到2台媒体转发服务器流量基本均分。随后关闭一台媒体转发服务器，可看到关闭的流量自动切换至正常运行的媒体转发服务器上，而新建的流量则由正常运行的媒体转发服务器转发；当关闭的媒体转发服务器再开启，流量又恢复到均分状态（（如图3-1、3-2））。负载分担集群系统不是转发业务的静态分配，而能够按照在线的媒体转发服务器自动分配动态业务，并且在媒体转发服务器故障的时候将媒体流切换到正常主机上，保证了媒体数据的持续性。

存储服务器的备份

存储系统作为事后取证的重要业务部件，需要更高的可靠性。这种可靠性不仅局限于常用的RAID技术来保证阵列的可靠性，还需要进一步避免存储机头、存储接入网络的单点故障，构建可靠的云存储系统。易倍体育使用存储服务器备份技术，保障存储服务器故障下的备份切换，确保存储业务的持续性和可靠性。

测试中，通过将存储IPSan断网来模拟存储服务器故障。故障发生后能看到监控前端的存储数据流自动牵引至备份IPSan上，故障恢复后监控前端的存储数据流又被自动牵引至主存储IPSan上。对故障前和故障后的录像并进行检索和回放，数据无丢失，最大限度保障录像的持续性和可靠性。

管理服务器的集群备份

管理服务器作为整个监控业务系统的控制核心，为保障其稳定性需要做集群备份。常见的容灾备份技术需要限制在二层网络内使用，容灾半径小，限制了异地容灾的应用。易倍体育的管理服务器实现了跨三层集群备份，当服务器主机出现异常、断电、网络故障等不正常工作状态时，远程的备机可自动进行切换，最大程度上保证业务的连续。

测试时，我们使用2+1的集群备份策略，管理服务器分别位于3个接入网络内，属于不同的网段。在正常运行时拔掉其中一台管理服务器的电源，可看出此时该管理服务器的服务切换到了另外一个网段的备机上，业务中断2分钟后即恢复正常运行。而当管理服务器故障恢复后，服务重新由备机切回至主机上，业务不中断（如图4）。

总结

从本次系统压力与可靠性测试的过程及结果来看，易倍体育在保证大型或超大型网络视频监控的系统级可靠性上花了不少功夫，管理平台的性能优化非常到位，在5000路规模的区县级平安城市下叠加所有动态业务压力完全应对自如。即便出现各类异常情况，仍能保证整套系统高效、可靠、流畅、顺利地运行，而这些正是一个大规模IP视频监控系统所需要的运营级别的稳定性。

下期将进行设备的单业务极限性能、存储可靠性以及网络承载能力与适应性测试，敬请期待。

附：

中国人民公安大学安全防范系赵兴涛

由于视频监控主要用于安全目的，因而视频监控系统能够安全、可靠和高效的工作是视频监控得以实施的必要条件，然而，随着视频监控系统数字化、网络化和智能化的飞速发展，其应用范围与规模日益扩大，因而，系统在什么样的条件下处于负载极限就尤为重要。而 “大规模IP视频监控测试系统”不仅能完美结合实际系统与虚拟设备，仿真出IP视频监控系统的实际运行环境，还能够测试出高负载状态下系统的各项性能指标，展示出系统性能随着负载变化的情况。

在整套测试过程中，首先进行了测试过程的可靠性验证，为压力测试奠定了坚实的基础，之后逐一对每个单项性能指标进行了极限测试，反映了系统的卓越性能。与之前的功能符合性测试或简单的性能测试相比，“大规模IP视频监控压力测试”展示了系统在逐步逼近极限条件下的视频管理服务器（VM）、媒体转发服务器（MS）、存储服务器的性能展现，即便处于大规模数据下的各服务器，依然可以很好的完成各项数据转发等操作，而未来可进一步提高测试的自动化，提高测试的通用性，打造客观、独立、高效的测试平台。

国家安全防范报警系统产品质量监督检验中心（上海）检测部主任赵贵华

以往，生产厂家以及检测机构，重点关注系统功能的可用性和协议的符合性检测。众所周知，采用部分的、小规模设备堆积的模拟测试方法，不能完全反映出大规模系统整体运行的能力。实际上系统压力（包括数据、存储等性能）测试，在系统设备设计生产过程中，在运用到现场前是十分重要的。“大规模IP视频监控压力测试系统”将部分实际系统与虚拟设备相结合，仿真出大规模IP视频监控系统的运行环境。具有新意和特色，可操作性比较强。后续，在技术成熟和公正的前提下我们将建立起大容量综合系统压力测试环境。进一步完善安防行业视频监控系统的测试标准和测试方法。

本文见刊于《安防工程商》2012年10月刊
总第104期