文献标识码: A
DOI:10.16157/j.issn.0258-7998.2016.04.016
中文引用格式: 曾帅,高宗彬,赵国锋. 基于Tilera众核平台的流媒体流量发生系统的设计[J].电子技术应用,2016,42(4):56-59.
英文引用格式: Zeng Shuai,Gao Zongbin,Zhao Guofeng. Design of streaming media traffic generation system based on Tilera many-core platform[J].Application of Electronic Technique,2016,42(4):56-59.
0 引言
互联网属于实践性很强的领域,相关的研究成果只有在经过实践验证后才会被广泛接受。因此,研究人员需要网络试验床来验证新的网络体系架构、协议、服务等。但是由于网络实验床无法接入实际的互联网,在实验网中很难产生大量的网络流量,进而研究人员无法对实验网中的网络体系架构、协议、服务等进行有效的测试。因此,作为用于产生大量网络流量的流量发生器在网络性能研究、网络服务质量研究、新协议的测试与部署、网络安全性研究等领域具有不可或缺的作用[1]。
由于流媒体类型的网络流量是互联网网络总流量的主要组成部分之一,而且近年来其所占比重正在不断增长。从全球范围来看,思科公司预测2016年流媒体内容将会占去全部网络流量的54%。在移动互联网方面,截止到2014年底,移动视频流量在移动数据总流量中的比例增长到55%。预计到2019年,接近四分之三的全球移动数据流量将为视频流量[2],并且随着嵌入式众核处理器的发展,在众核处理器上的应用开发也进入了新的时代。本文设计了一种基于Tilera众核平台的流媒体流量发生系统,进而对科研人员的网络设备性能测试、网络协议评估等提供更好的支持。
1 硬件平台选择
随着嵌入式众核处理器的发展,在众核处理器上的应用开发也进入了新的时代。例如:西安电子科技大学研究的网络安全测试设备[3]、H.264多线程并行编码[4]、浙江大学研究的3G服务器视频转码软件设计[5]、西安工程大学研究的NetFlow的P2P协议识别与检测系统[6]等。
本系统所选择的Tilera Gx36系列众核平台的处理器架构如图1所示。其特征性能有:新一代64位处理器核心、增强的SIMD指令扩展、集成高性能DDR3内存控制器、硬件加速引擎、网络包处理加速器。
2 流媒体流量发生系统的整体设计
2.1 流媒体用户行为转移模型的设计
本文对流媒体用户行为转移模型的设计如图2所示。
将流媒体用户观看视频的状态分为:Init、Ready和Playing 3种状态,采用马尔可夫状态转移模型进行流媒体用户行为转移的设计。系统通过实现RTSP协议来模拟用户观看流媒体视频的行为。该RTSP流媒体协议中包含PLAY、PAUSE、TERDOWN等相关指令,客户端RTSP请求通过构造这些指令来模拟流媒体用户观看视频的行为。系统约定模拟的流媒体用户在每个时刻只能采用一个交互式动作,该动作仅仅依赖于前一个状态。表1描述了“消息—状态”的相关性。
2.2 流媒体流量产生方式的设计
系统模拟产生流媒体流量方式的设计如图3所示。
本系统以上述设计的流媒体用户行为模型为基础,针对Tilera众核平台进行任务的并行划分并对互联网中的流媒体服务器中的视频等资源并行地发起大量RTSP流媒体请求,进而使得互联网中的流媒体服务器返回的大量真实的流媒体流量途经实验网。
2.3 系统架构设计
系统由3部分组成,包括系统界面管理模块、服务承载模块和众核平台上流媒体流量发生模块。流媒体流量发生系统架构如图4所示。
2.4 系统界面管理模块
该模块为系统用户提供了一个易操作且友好的Web网页界面,支持系统用户对不同情景下的流媒体流量的参数进行配置,并将配置参数下发到服务承载模块。
2.5 服务承载模块
服务承载模块包括Web server子模块和MYSQL数据库模块,其中Web server子模块又分为配置文件承载子模块、通信承载子模块和数据库操作承载子模块。
2.6 流媒体流量发生模块
流媒体流量发生模块负责接收服务承载模块下发的相应命令来完成不同情景参数下的流媒体流量模拟产生的功能。该模块包含N个流媒体流量发生子模块,分别对应分布式的Tilera众核平台设备1~N,通过利用分布式的架构使得该N台Tilera众核平台设备相互配合从而产生更大更逼真的流媒体网络流量。
单台Tilera众核平台上的流媒体流量发生模块的架构设计如图5所示。
系统将该模块划分为Streaming并行访问请求模块、Streaming数据接收模块、日志记录模块和流量分析处理模块四个子模块。将Tilera众核平台上的多个处理器核以每四个为一个并行任务组,将每台Tilera众核平台又划分成了多个并行的任务组进行并行工作来模拟产生更多的流媒体并发用户数,其中每个并行任务组中的4个处理器核对应流媒体流量发生模块中的4个子模块,即每一个子模块运行在一个处理器核中,以提高系统整体的并行处理能力。其中将每台Tilera众核平台上的多个处理器核中的某个核单独拿出来作为主控核,该主控核负责与服务承载层进行实时交互通信并接收服务承载层下发的相应命令,并且控制及协调每台Tilera众核平台上的所有正在运行的并行任务组联合工作,进而实现系统用户对本系统所模拟产生的流媒体流量的过程具有可管可控的功能。
2.6.1 流媒体流量反馈机制的设计
Tilera众核平台上的主控核定期检测分析该台Tilera众核设备上的流媒体流量发生模块整体模拟产生的流量信息,检测模拟的整体流量在一定时间内是否符合该配置参数情景下流媒体流量的整体波形变化情况,若与网络流量的整体波形的误差大于0.5%,则该主控核就按照预先设计的相应策略对正在运行的并行任务组进行调节,直到误差小于0.5%为止,进而确保对不同情景下的流媒体网络流量进行有效逼真的模拟。
2.6.2 RTSP请求保活机制的设计
系统采用线程池技术来设计RTSP的并行请求。如图6所示,由于RTSP连接是有状态链接,为了保持请求的连接的活跃状态,系统在线程池中设置一个心跳扫描线程定时对系统模拟的流媒体并发用户数所建立的RTSP连接进行检测,在某个模拟的流媒体并发用户所建立的连接距上次发送心跳包间隔时长超过100 s时,通知RTSP心跳包线程发送心跳包,进而维持较多的流媒体并发用户数。
3 系统测试与数据分析
依据本文提出的基于Tilera众核平台的流媒体流量发生系统,设计了一个实际的测试系统。由于所在实验环境中外网的网络带宽的限制(2 Mb/s)不能够产生所需要的大流量,因此在实验网(千兆局域网)内部搭建一台流媒体服务器,并进行了系统测试。
该测试系统的流媒体参数配置界面如图7所示。
该界面支持科研人员针对不同的流媒体情景进行相应参数的设置,从而实现控制多台流媒体流量发生模块联合模拟产生不同环境下的网络流量的功能。
Hurst指数是度量网络流量自相似程度的重要指标,Hurst指数的计算方法主要有7种[7]:聚合方差法、R/S分析法(R/S method)、周期图法、绝对值法、残差方差法、小波分析法、Whittle法。本文采用时间方法和R/S分析法计算Hurst指数。
如图8所示,流量产生系统产生的流量具有很强的自相似性,这与实际的网络流量相一致,表明本系统对不同情景下模拟的流媒体流量具有较高的真实性。
如图9所示,在单台Tilera众核平台上采用两个CPU处理器核来模拟2 000左右的流媒体并发用户数时,系统带宽占用随着并发用户数的增加而增加,并且达到了最高点1 Gb/s,表明本系统可以模拟产生较大的流媒体流量吞吐量。
4 结论
本文提出了一种在B/S及分布式系统架构模式下基于Tilera众核平台的流媒体流量发生系统的详细设计方案,包括Tilera众核平台硬件系统和软件架构。本系统针对Tilera众核平台进行并行任务的划分与设计,采用线程池技术并以流媒体用户行为模型为依据并行地发起RTSP请求诱使互联网中真实的流媒体服务器在途经的试验网中产生大规模流媒体网络流量,并设计了流量反馈机制。测试结果表明,系统可以模拟较大的流媒体流量吞吐率、较多的流媒体并发用户数和不同情景下更逼真的流媒体流量,且运行稳定可靠,具备较好的易操作性和可扩展性。
参考文献
[1] BOTTA A,DAINOTTI A,PESCAP?魪 A.A tool for the generation of realistic network workload for emerging networking scenarios[J].Computer Networks,2012,56(15):3531-3547.
[2] Cisco VNI Mobile.视觉网络指数全球移动数据流量预测更新2014-2019年报[DB/OL].(2015).http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/white_paper_c11-520862.html.
[3] 李晨.基于多核的网络安全测试设备的通用框架设计[D].西安:西安电子科技大学,2011.
[4] 张超.基于TILE64的H.264多线程并行编码[D].西安:西安电子科技大学,2011.
[5] 韩笑.基于TILE Pro6多核处理器的3G服务器视频转码软件设计[D].杭州:浙江大学,2012.
[6] 杨三胜.Tilera多核环境下基于NetFlow的P2P协议识别与检测[D].西安:西安工程大学,2011.
[7] 陈建,谭献海,贾真.7种Hurst系数估计算法的性能分析[J].计算机应用,2006,26(4):945-950.