宝特莱科技移动流媒体业务支撑系统技术方案
qinws| 本站原创| 2005-06-13

第一章 概述
1. 背景
在宽带网络建设中,人们逐渐认识到宽带应用才是真正支撑宽带网络发展的力量源泉,也是宽带网络经营者的效益来源。基于中、高速网络的流媒体技术由此诞生,它的诞生和发展推动了互联网整体架构的革新,同时赋予宽带应用更多的娱乐性和互动性。流媒体是指运用可变带宽技术,在数据网络上按时间先后次序传输和播放的连续音/视频数据的一种格式。流媒体数据流具有连续性、实时性、时序性三大特点,具有严格的前后时序关系。流媒体在播放前只将部分内容缓存,并不下载整个文件,在数据流传送的同时,用户可在计算机上利用相应的播放器或其它的硬件、软件对压缩的动画、视音频等流式多媒体文件解压后进行播放,这样就节省了下载等待时间和存储空间,使时延大大减少,而多媒体文件的剩余部分将在后台的服务器内继续下载。
 移动通信的未来发展方向主要体现在多媒体服务和移动数据业务上,足够高的数据传送速率和准确性、可靠性是其基本要求。目前的cdma-1x经实测其数据速率平均为80kbps,最高已达到153.6kbps,达到或超过了通常有线上网的速率,在这样高速的通信平台之上,其可以承载的应用将无可限量,无线上网、移动OA、电子商务、移动购物、电子银行、财经交通等信息服务、定位服务、多媒体信息传送、游戏娱乐服务、网上下载音乐图片等各种各样的业务在联通cdma-1x网上将得以完美的实现。
借助于cdma-1x的高速网络,流媒体业务的开通将使得用户可以高速率在线观看电视、电影、新闻以及各种娱乐、体育节目,也可以进行VOD/AOD视频点播,从而使用户与手机媒体进行互动,因而此项业务有着极为广阔的市场前景。在3G项目启动之后,手机VOD视频点播增值业务将会成为宽带网络中极具发展前景的特色业务。
 
2. 设计目标
(1) 运营级的业务管理平台
(2) 高可伸缩性的统一应用管理平台
(3) 智能化的自动录播系统
(4) 稳健的系统平台
(5) 良好的可扩展性
(6) 一期1000人同时在线点播
 
第二章 业务与功能
利用流媒体业务支撑系统,我们可以方便的实现手机用户的认证,内容访问控制和计费,灵活引入CSP的内容资源(VOD、财经、教育、游戏等)。
整个流媒体业务支撑系统可由如下部分组成:
A 系统后台管理
B 客户端用户系统
C 流媒体发布及管理系统
2.1 系统后台管理
2.1.1用户管理
   用户增加和删除、信息修改
   姓名、电话、邮箱
   用户访问权限管理
   用户锁定解锁功能
   用户分组管理
2.1.2内容提供商管理
2.1.2权限管理
基于用户的权限管理:
管理员采用分级权限,各管理员统一由超级管理员来管理,管理员的权限以属性的方式出现,可方便的进行增加、修改、删除。管理员应区分角色,如超级管理员、内容管理员、内容审核管理员、等,系统应为不同的管理员角色分配不同的管理资源和管理权限。
2.1.3报表统计
    业务报告:统计点播次数,节目访问统计和业务收入统计等、用户收视率分析、点播排行榜报表、来访区域统计报表
    系统运行报告:按照日、周、月统计包括点播总数、点播总费用、日访问流量、最高峰流量进行统计
2.1.4终端系统媒体规格管理
 定义终端系统的屏幕大小,支持视频、音频、图片的具体参数。
 当内容发布时,生成对应终端的媒体文件。
 支持不同的媒体格式media(一期),real(后期)
2.1.5服务器管理
   支持对集群、分布式媒体流媒体服务器,包括视频服务器注册、视频服务器删除等功能
   服务器组管理(实施组策略,包括IP地址访问策略,负载均衡策略,内容分发策略)
2.1.6系统监控
包括各个视频服务器在线用户数以及在一定的时间间隔中统计各个视频服务器访问的人数。可实时监控每个点播服务器当前的负载情况,包括监控所有节点、通道I/O、网络I/O的使用率;CPU、内存、磁盘阵列的空间占用和运行状态。
2.1.7业务管理
    计费策略:记费费率、节目折扣(时间段、节假日、双休日、常客等)、多种记费策略、记费方式的设定,一期仅考虑计次与包月两种模式。
服务套餐定义:定义内容频道及频道中节目的单价,针对包月制用户可以灵活的根据内容频道组合定义服务套餐。
2.1.8帐务管理
   收费管理:包括点播日期、节目名称、点播费用、点播时间、点播总费用等信息。
   用户可通过WEB方式查询资费情况
2.1.9用户登录、注销、修改密码
2.2 客户端用户系统
2.2.1节目浏览
    通过手持终端登录系统,浏览不同栏目及节目信息。
2.2.2免费预览
    用户在点播视频内容之前,可通过预览影片片段了解影片内容、质量等情况,以决定是否点播。免费预览的时间由管理员管理节目时设定,每个影片可有时间长度不同的预览片段。
2.2.3节目搜索
    用户可根据频道类型对内容等属性快速搜索节目。
2.2.4最新推荐
    为方便用户了解最新内容信息,每一频道下可列出推荐内容。
2.2.5排行榜
    排行榜初始列出了点播最热门的内容。
2.2.6资费查询
    查询点播记录、帐单信息
2.3 流媒体发布及管理系统
2.3.1频道管理
对频道及子频道进行添加、修改、删除。
2.3.2内容管理
节目归档及发布、节目发布流程管理、节目供应商信息管理。
2.3.3节目排行管理
节目管理员对节目排行信息进行调整。
2.3.4节目推荐管理
    节目管理员对推荐节目进行管理。
2.3.5节目供应商节目点播信息查询
     供应商可对提供节目的点播情况进行查询,提供日报告、月报告或某段时间内的点播报告。
 
第三章 技术实现
视频点播业务主要是利用国内外先进的媒体资源,实时地为宽带用户群体提供各种业务服务。系统的设计主要考虑以下两个方面的内容,即业务模式及系统平台。系统平台部分主要是在网站上实现宽带接入系统的支撑平台,包括接入网络、WWW服务器、应用服务器、视频服务器、内容存储、数据库、节目制作系统组成。
3.1系统架构
 

系统由用户接入层、应用服务层、业务管理层以及系统支撑环境构成。系统支撑环境为整个系统提供数据存储、节目采编以及点播和直播服务,保障系统安全、稳定运行;业务管理层处理系统相关的用户、权限以及计费策略等事务,对系统进行维护和监控;应用服务层则为不同接入设备提供丰富多样的界面,与用户直接进行交互。
在统一的Web应用平台上,我们可以方便地实现手机用户的预览、节目查询、点播等功能。另一方面后台的管理者可以通过PC的浏览器进行对系统的管理、查询和对帐,也可以利用PC的浏览器部署、管理提供的节目。
3.2技术架构
流媒体业务支撑系统是一个功能很强的系统,针对流媒体的应用特点,结合当前先进技术的发展趋势,系统基于J2EE技术体系,建立在Java的“Write Once, run anywhere”(一次开发,随处运行)的理念上,是一个开放的、基于标准的平台。平台具有开发、部署和管理的N层结构,是面向Web、以服务器为中心的企业级应用。
采用MVC模式。流媒体应用平台按视图、控制和模型来组织业务支撑框架,是当今应用系统模式的成熟可用的技术潮流。
流媒体具有松耦合,高扩展性的特点。Web应用的软件层次内部“高内聚”,层次之间“松耦合”,使得平台系统上的应用开发能够根据不断变化的应用需求快速扩展。
流媒体应用平台是企业级J2EE应用,我们采用分层的方法来分解模型,分解后系统按逻辑分为子系统和模块。层将这些子系统隔离开来,并且确定每个子系统的功能和使用权限。
层以设计重用为目的,它为系统提供以重用为目的的服务。层之间的关系经过严格的划分。一个层依赖于处在它下面的层,同时它又为它的上层提供某种服务。层一般不能绕过在它下面的层去访问其他层,除非它下面的层仅仅为传递信息而存在。不直接相邻的层没有任何的通信联系。这样就降低了系统的耦合性。在系统功能不变的情况下,可以替换某些层,也可以横向扩展功能。流媒体应用平台的分层系统架构如下图:
 
(1) 控制层
使用Servlet技术实现。在控制层完成对客户信息的校验、实现权限控管,业务逻辑的环境参数设定、业务逻辑的输入输出控制和通讯数据打包解包等功能。
每次进行Web交易,主控保持客户信息。同一客户进行下一次交易时判断其权限是否达到要求。由于进行Web交易的请求都来自于联通授权的用户,Web并发量小,可以采用这种比较消耗内存资源但效率较高的实现方式。
对于手机用户,控制层根据手机请求进行资源调配,为表现层提供约定的数据格式。
(2)表现层
系统有手机接入和PC机接入两种接入方式。对于不同的手机可能还会由于手机客户端的不同而有不同的接入要求。针对不同的接入方式需要有不同的展现方式。在表现层需要使用多个适配器来适应不同的情形。这些适配器可以在表现层上横向扩展,而不需要更改其他层次的应用程序。
(3) 应用逻辑层
应用逻辑层使用无状态会话(Stateless)EJB技术实现流媒体点播的应用逻辑。EJB是J2EE技术规范中的一部分。它简化了中间件组件的开发,这些中间件组件都是事务性的、可伸缩的和可移植的。EJB的体系结构使的编写应用程序变得容易,应用程序开发人员将不必了解低层次的事务和状态管理的细节、多线程、资源共享和其它复杂的低级API。
当客户机发出请求要建立Bean的实例时,EJB容器不一定要创建一个新的Bean实例供客户机调用,因为无状态的会话Bean是没有记录任何状态信息的,客户调用哪个实例都一样,所以容器会随便找个现有的实例提供给客户机。这种轻量级的组件有助于系统资源的高效率使用。
(4) 数据层
提供统一的数据库联接函数接口,该函数通过JDBC与数据库联接,使用SQL对数据库进行操作。
(5) 通讯层
随着联通的增值业务的发展,可能会有一些业务需要提供和联通系统的互联。通讯层可以组织所要求的数据内容成为报文,传送给联通主机系统,获得应答后直接反馈到用户手机上。
3.3系统实现方案
(1) 网络拓朴结构


上图为高可用可伸缩可运营流媒体网络物理拓扑图,该方案可以有效节省网络带宽,降低网络延迟,同时减轻原始服务器的工作负荷,提高系统并发数。
一期在业务量较小的情况下亦可采取集中式部署,即没有Cache Proxy 作为边缘服务器支持。
(2) 系统构成
在核心数据中心,系统主要由视频服务器集群、管理系统、计费系统、节目制作系统、节目库组成。
(3) 视频服务器集群主要用于调度节目、满足用户点播响应,它是整个系统的核心。
(4) 管理系统包含用户管理、节目管理、系统监控、服务器管理、内容分布管理等模块。
(5) 计费系统包含计费策略管理(计次、包月等)、收费管理、报表统计等模块。
(6) 节目制作系统负责将各类节目源(VCD,DVD录相带)转换制作成适合点播的MPEG-4数字流媒体节目。
(7) 节目库用于存储所有点播节目,它可以是多台服务器共享的磁盘阵列,也可以是SAN(存储局域网)或离线存储库。

在网络汇接或接入层,Cache Proxy服务器自动缓存高点播率的节目并响应来自该节点接入用户的点播请求,该服务器自动定时地根据节目分发策略更新存储单元的节目内容。系统根据用户接入数量来确定Cache Proxy服务器的数量及存储单元的容量。
A 流媒体服务器分析
流媒体服务器作为VOD应用的核心硬件设备,为充分发挥软件系统的效能,需综合考虑与硬件设备合理配合使用。通常从如下几方面入手:
A. 服务器网络I/O
B. 服务器总线I/O和CPU处理能力
C. 磁盘I/O
D. 磁盘阵列与服务器之间I/O
E. 内存容量

具体分析如下:
CPU:通常当服务器的瓶颈出现时,添加更多的CPU并不能提高其吞吐量。流媒体服务器处理能力在一个到两个CPU之间会是线性增长的,但超出两个以后并不能得到较好的性价比。
内存:增加更多的内存会提高流媒体服务器的并发数,但首先必须是如CPU、磁盘I/O、网络I/O没有超出最大值,比较合理的配置是 512 MB ,超过512MB后性价比下降。
网络接口:考虑采用多块网卡。一块专用于流媒体点播 ,一块用于远程管理、监控以及接受实时媒体流和分发媒体流。
磁盘I/O:为流媒体服务器性能主要瓶颈,如何优化磁盘读写速度至关重要。流媒体服务器应当采用高可靠、读写快的RAID0或RAID5。通常,由于受计算机总线速度限制,超过三块磁盘时并不能提高整体性能。

流媒体服务器配置:
 基本配置 推荐配置
操作系统 Windows  Server 2003 标准版 Windows  Server 2003 企业版或数据中心版
处理器 233MHz 550 MHz 或更高
内存 256MB RAM 1 GB RAM 或更高
网络接口 单块千兆以太网卡 两块千兆以太网卡或更多
硬盘 SCSI RAID SCSI RAID
 
B 系统并发能力评估
下表为流媒体服务器单机并发数
流传输速率(Kbps) 连接类型 支持并发数(每服务器)
28.8 拨号 1,200
56.6 拨号 600
100 ISDN 300
300 DSL/cable/LAN 100

以分发56.6K媒体为例,如果采用集中式部署,满足1000人同时在线点播服务器和网络I/O必须达到55.3Mbps,在基本配置情况下,则至少需要2台流媒体服务器,主干网为100M。

3.4关键技术实现
在视频点播系统中对并发用户的支持和大容量的信息存储是检验点播系统性能高低的两个主要因素。为支持并发用户,可以采用CDN技术和负载均衡技术,而大容量的信息存储就需要使用适当的存储技术。
3.4.1 CDN技术
CDN技术和流媒体技术融合为在广域和城域网范围内发展流媒体技术应用提供了保证。CDN技术是通过在现有的Internet中增加一层新的网络架构,将内容(包括流媒体内容)发布到最接近用户的网络“边缘”,使用户可以就近取得所需要的内容,以提高用户访问内容的响应速度。它解决了由于用户访问量大、网点分布不均对骨干网带来的拥塞,从而提高了用户访问流媒体内容的范围和响应速度。具体而言,具有以下作用:
(1) 系统支持各节点之间的本地动态负载均衡和全局动态负载均衡。
(2) 系统提供高效的流量平衡和用户数限制管理机制,最大限度保证用户的访问质量。
(3) 支持多种负载均衡策略,可根据URL数量、系统负载、响应时间等分配流量。
CDN可以采用手动分布和自动分布两种方法。当采用手动分布时,用户先从完整的节目列表中选择需要临时分布的视频节目,然后用户选择需要分布的服务器或目录,接着用户确定当前需要的分发节目,最后经过确认,系统自动将节目分发到远程的服务器上。
如果采用自动分布,用户先确认自动分发的方式,可选择按最新的片源或者最热门的片源进行自动分发,然后用户确认自动分发的时间限制,以避开最繁忙的网络工作时间,接着用户选择需要分发的节目服务器,最后用户确认自己的分布策略。此后系统就可以按照用户发布的策略自动将节目分发到远程的服务器上了。
3.4.2数据存储
为了实现中心服务器群的流服务负载均衡,必须对内容实现有效的物理镜像。一般有两种方式实现:集中存储器(DAS、NAS、SAN结构)和本地硬盘存储方式,下面我们专门就采用本地硬盘实现分布式存储进行说明。
与NAS、SAN等专门存储系统相比,本地存储设备具有价格便宜、速度快的特点,试验表明采用多块小的SCSI 硬盘的媒体播放性能也具有不小的潜力。通过分布式的流媒体存储可以在各边缘服务器上存储热点及缓冲节目,保证视频点播的高质量服务。下面是一种常用的分布式存储应用方案:
1. 将所有服务器按照两台一组的原则进行规划,每个服务器中10%空间用来安装操作系统,30%空间用来做热片的本地缓存(M1),60%空间用来做冷片的本地节目存储(M2)。
2. 所有服务器中M1是用来存储热片的,这些热片的内容完全相同,用来实现全部热片的负载均衡。
3. M2是用来存储和发布视频节目的,例如分节点A的3组服务器可以存储3×400即1.2T的节目,因为两个服务器的内容一致,可以确保系统全局复杂均衡能力。
4.如果分节点B服务器也按照上述10%、30%、60%的原则进行划分,这样分节点A的服务器组可以承担同等方式内容的本地存储,A、B两地共支持2.4T的节目存储容量。
3.4.3负载均衡
视频点播系统中负载均衡过程如下:
1. 每台视频服务器上运行着一个自动获取和计算该视频服务器综合视频服务能力的后台程序,该程序可以定期获取服务的关键参数因子,包括CPU使用率、内存使用率、并发连接数、带宽使用率等,通过加权运算的方式最后算出该服务器的能力值,同时把该结果在数据库对应能力表中动态更新,能力值越小负载越轻。
2. 用户访问某个节目时,负载均衡软件查询内容分布表,判断该用户所访问的内容是冷片还是热片。如果是热片,则意味着该节目在所有媒体服务器上都存在,此时,系统判断用户IP所属物理区域和组内各服务器负载及健康情况,然后将该用户所在服务区域的服务器组中负载最轻的服务器分配给该用户,把用户请求发送给负载最轻的视频服务器。如果该用户访问的内容是冷片,则意味着该节目仅仅在发布时指定的两台视频源服务器中存在,而在其他视频级服务器中不存在,系统选择两台源服务器中运行状况最好、负载最轻的服务器,把用户请求发送给这台负载最轻的视频服务器获得内容。
3. 如果用户访问的是直播内容,会在所有视频服务器上创建和配置广播内容发布点,并确保所有视频服务器上拥有完全相同的直播流频道发布点路径,这样,系统可以根据制定好的区域负载均衡原则,优先把用户指向到包含该直播流的媒体服务器组群中负载最轻的视频服务器上获得内容。
3.5近期建设
由于处于业务开展初期,系统采用集中式部署,暂不予考虑CDN分发和负载均衡功能,计费方式为计次和包月。

责任编辑:lmtwadmin

分享到:
版权声明:凡注明来源“流媒体网”的文章,版权均属流媒体网所有,转载需注明出处。非本站出处的文章为转载,观点供业内参考,不代表本站观点。文中图片均来源于网络收集整理,仅供学习交流,版权归原作者所有。如涉及侵权,请及时联系我们删除!