关键字:DVR 监控 存储 高清视频 视频监控
应该说,网络监控的诞生解决了传统监控效果的难题,改变了传统的连接方式,更简单更便捷,但同时衍生了更庞大的存储需求和更高的带宽满足。对于视频监控的数据来说,由于网络视频监控是基于网络的音视频流传输,在大量音视频流传输的情况下会对视频监控管理服务器的性能产生很大影响,数据越多,视频监控管理服务器对I/O操作的调度和缓存的管理就变得越复杂,往往会出现多台摄像头对单台服务器,多台服务器对一台后端存储设备的情况,对存储设备的频繁访问以及多个摄像头多个服务器的存储需求,需要占用大量的资源,影响了其处理能力。
据安防业界一项调查显示,曾占据安防主流市场的DVR硬盘存储目前的市场份额已退减至45%,传统的IT存储方式(包括DAS存储、NAS存储、SAN存储)与其平分天下,也占据了市场份额的45%。
高清监控对数据存储的要求
然而,随着高清监控的发展,前端图像质量的大幅度提升也导致了后端存储的监控数据有了突飞猛进的增长。以720P高清摄像机为例,其每小时视频录像数据可压缩到3GB左右容量,一般的监控系统路上都是几十路甚至上百路,按照有关规定,监控录像需保存一个月(30天),假设某监控系统为100路,则可计算得知:
3GB/小时*24小时*30天*100路= 216,000GB
也就是说,一个上百路的高清视频监控系统所需的最少容量为216TB,考虑到全局数据冗余度、未来数据膨胀,以及数据自动恢复等,系统设计至少需要220TB的存储空间。
除了大容量之外,视频监控存储系统还有着以下的要求:
视频采集过程中,视频文件格式一般都不会发生变化,且码率保持恒定,视频图像的帧率一般为25帧/S,也就是说在存储的读写操作中,必须保证存储的高带宽,否则图像采集或回放就会出现丢帧现象,因此视频监控系统对存储系统在高并发IO的情况下不仅要求在高并发IO的情况下带宽大,还要求带宽稳定。
数据读写操作的持续时间长。由于摄像头一般都是7*24小时工作的,所以数据写入操作的持续时间也是7*24小时不间断的,后期回放时也需要在7*24小时内都能够及时获取数据。因此要求存储系统在硬盘损坏,甚至存储某些节点宕机的情况下,能够保持7*24小时不间断稳定运行。
视频监控系统一般具有摄像头路数多,视频图像存储时间长,因此存储容量需求巨大,且随着图像存储时间的增加,存储容量需求呈线性的、爆炸性的增长。因此视频监控系统存储必须支持大容量,且容量具有高扩展性,满足长时间大容量视频图像存储的需求。
传统IT存储架构的不足和缺陷
高清视频监控存储系统需要具有海量数据高效管理、高效检索、高可靠性等一系列的要求,不过传统的IT存储方式(包括DAS存储、NAS存储、SAN存储)在这些方面似乎有着各项不能胜任的理由:
DAS:该方案利用HBA卡直接连接应用服务器和光纤盘阵,不提供数据共享能力。如果多个应用需要共用同一份数据,往往要花费大量的时间进行数据迁移,结果导致环境中存在多份相同的数据,并且多份数据之间的同步困难,浪费了大量的人力物力。
SAN:该方案利用存储光纤网络连接应用服务器和光纤盘阵,相比DAS 更具灵活性和可扩展性。但是SAN仍然不具备数据共享能力,而且由于SAN系统高昂的价格,以及不同厂商之间的设备兼容性问题,限制了在HPC领域的使用。
NAS:提供NFS或者CIFS 协议访问的NAS 系统能够给应用服务器提供统一的文件系统映象,满足多台应用服务器之间共享数据的需求。但是由于传统NAS 往往通过单台服务器的形式提供文件级的存储空间,其有限的IO带宽和可扩展性都难以满足HPC 系统大量的并发读写需求。而且NAS对文件系统锁的支持较差,多台客户端不能同时读写同一文件,导致客户端之间不能够很好的协同工作。
SAN+NAS:该方案一定程度上具备了SAN 的可扩展能力和NAS的数据共享能力,但仍然存在明显的缺陷。应用所有的数据I/O都必须通过单个NAS服务器进行,使得整套系统的I/O 带宽受限于NAS服务器的带宽,仍旧难以满足HPC环境的需求。
集群存储——高清监控存储的曙光?
面对如此情况,尽管众人把希望寄托在云存储身上,然而,云计算落地时间尚早,云存储的应用到户时间还有待商榷,视频监控用户该如何实现大数据量的高清监控数据的存储呢?集群存储似乎成为存储厂商解决视频监控系统大容量、高稳定性的答案。
先来解释一下集群存储的概念。所谓集群存储是指将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。
集群存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。
2008年10月,某企业在中影集团机房内利用相同的硬件环境对集群存储架构与传统存储架构分别做了性能测试,用iozone工具测试存储架构的并发IO性能。
结果显示,集群存储架构与传统存储架构相比较,并发写性能高约30%,并发读性能高约10%。
传统类型的存储架构,每1TB硬盘的I/O平均读写速度最高能达到15-20MB/s,以60TB为例,整个存储架构的I/0并发读写速度仅能达到0.9-1.5GB/s,无法满足高并发性的要求;而CZSS存储系统打破了传统意义上的以硬盘为单位的I/O读写速度的瓶颈,采用了高效的文件管理机制,以节点为整个系统I/O读写的计算单位,同样60TB,CZSS系统大约需要10个节点(10台存储单元),每个节点的读写速度为300MB/s以上,故并发读写速度可达到3GB/s以上,极大地满足了用户对于系统高并发性的要求。
而且在传统存储测试过程中在做并发读写的时候,在客户端无法对传统存储系统挂载目录进行ls(查看目录中的文件)操作,即传统存储系统在有负载的情况下无法查看其中的数据,这样使得在系统在有任务时,就无法取出存储在传统存储架构中的结果数据。这种现象说明传统存储架构的元数据处理能力很低,在有大量文件的情况下会导致系统无法提供服务。
传统存储架构的软件在客户端请求数较多时,元数据类操作将失去响应。此时所有的客户端将无法执行打开文件夹、查询文件类的操作,这样,所有的桌面客户端都将失去响应,制作工作将完全无法进行。而CZSS的存储软件没有这个问题。在同等硬件条件下,集群系统软件的IO带宽比传统存储架构软件要高出30%。投资成本降低了40%以上。
结语
目前来说,国内安防市场的发展主要是由一些政府主导的项目在推动,比如平安城市建设,交通监控系统建设等,这些安防系统都有着多路数、高图像质量的要求,同时要求系统具有实时处理信息的能力,由此带来的大数据量存储的问题不可避免。
安防行业从模拟时代过渡到数字时代,监控存储架构从DVR到NAS和SAN的过渡,应该说这是一个时代的进步。随着高清监控的到来,当传统IT存储架构也无法满足高清监控存储的要求时,集群存储——对安防行业来说,这一新的存储方式能否被我们接受呢?真金不怕火炼,我们只能说,对于任何新事物,用户接受都需要一定的时间和过渡期。