专访东方明珠:融媒时代的大数据转型之路打造

研如玉| 用户行为洞察研究院| 2019-03-15

　　【流媒体网】摘要：在公司高级副总裁、首席技术官范若晗女士的领导下，东方明珠这两年不断的在大数据、人工智能、垂直电商、云计算、物联网等领域结合传媒行业背景，进行了技术尝试与变革创新，打造出了适合广电行业的转型之路。

　　“业务是检验大数据价值的核心标准，东方明珠两年摸索前行，走出了自主、创新、可控的大数据建设之路，树立广电行业互联网+转型的一面标杆。” ——胡俊

　　导读

　　1994 年，东方明珠成为国内首家文化传媒上市公司；2011 年，百视通上市，开创广电新媒体上市先河；2014 年，大小文广合并，百视通吸收合并原东方明珠重大资产重组启动；2015 年，东方明珠新媒体股份有限公司成立，这是我国第一家产业链一体化布局的传媒文化上市公司，集团分设四大事业群，包括媒体网络事业群、影视互娱事业群、视频购物事业群、文旅消费事业群。

　　作为一名从业近二十年的软件研发老兵，胡俊也正是在此时，出任东方明珠新媒体研究院研发总监，负责集团大数据平台建设；在互联网转型的大战略下，经历了从大重组调整到现在的融媒转型，一路走来，见证了“技术力量驱动业务发展“在广电行业的落地。

　　Part01 历时两年见证新媒体战略稳稳落地

　　东方明珠作为综合文化传媒集团，迎合新媒体转型的浪潮，积极构建自己的“文娱+”生态圈。

　　在公司高级副总裁、首席技术官范若晗女士的领导下，东方明珠这两年不断的在大数据、人工智能、垂直电商、云计算、物联网等领域结合传媒行业背景，进行了技术尝试与变革创新，打造出了适合广电行业的转型之路。

　　图 1. 东方明珠新媒体转型目标

　　东方明珠研究院的研发团队，是在互联网转型大战略的方针指导下，公司自行组建并培养的一支精锐部队，分为数据平台组、测试运维组、软件开发组和产品项目组四个核心小组。

　　研发团队负责整个集团大数据平台及相关系统的建设，主要职责：

　　1. 在汇聚公司核心业务用户信息的基础上，通过前端用户行为埋点采集，获取并接入线上线下业务的用户全量数据。

　　2. 引入优质外部数据，丰富视频、商品的基础标签，扩充内容分析维度，提高用户画像的精度。

　　3. 新建适用于全渠道用户经营的推荐引擎，直接对接线上业务系统或线下业务场景，基于内容标签和用户画像实现精准个性化推荐和营销触达。

　　同时，团队通过增强基础数据平台的稳定性、安全性、计算处理能力及效率，协同业务逐步形成数据驱动的经营机制，精准用户洞察，实现精准导流、深度运营，为存量业务的精细化运营及新业务的针对性，拓展提供坚实有力的数据支撑。

　　图 2. 东方明珠研发团队

　　在公司的大力支持下，这支团队锐意进取、开拓创新，无论是早期摸石头过河、还是选择行业内领先的合作伙伴（如神策数据、公有云服务商等），都秉承着自主可控、精益求精的原则。

　　两年建设期，这支团队攻城拔寨，喜讯不断传来：

　　2016 年 9 月份，大数据建设相关规划正式立项启动。

　　2017 年 3 月份，用户中心管理平台一期成功上线。

　　2017 年 12 月份，用户中心管理平台二期顺利发布、DevOps 项目试点成功。

　　2018 年 2 月份，会员系统一期改造完成。

　　2018 年 6 月，整合用户中心和会员中心，升级为数据中台，数据中台初步整合完成，全集团 39 个驻地全业务线逐步投入使用。

　　2018 年 6 月底，基于大数据人工智能的智能推荐平台上线、DevOps 平台推广到整个集团研发相关部门。

　　2018 年 9 月份，会员系统二期改造完成、前端全业务端口打通。

　　Part02 业务是检验大数据价值的核心标准

　　东方明珠数据中台，是目前全公司 39 个驻地全业务线都在使用的大数据分析平台，是实现公司业务数据全面汇集、智能应用、精细运营的数据资源池。

　　数据中台整合的业务数据包括小红巢、东方购物、百视通 IPTV、百视通 App、百视通 OTT、游戏群、东方明珠塔、看看新闻 App 等等；均通过东方明珠自建的“数据管道”进行一手数据采集、清洗、处理和分析，然后应用到各业务线的固定报表服务、多维分析服务、用户画像服务、即席查询服务、东方明珠知识库以及机器学习平台（如智能推荐系统、营销推送系统等）。

　　图 3. 东方明珠 OPG 数据中台

　　谈到数据中台建设的点滴历程，胡俊借用东方明珠旗下百视通总经理程曦的原话告诉笔者，东方明珠的大数据建设，就是“要让需要数据的岗位都用起来，数据用得多了、用得好了，就越用越准”。

　　在一年半之前，数据中台上线试运行期间，当时有台服务器宕机了一周，居然没有任何人发现；到现在，做内外网用户的安全切换测试，期间只能用 VPN 访问，短短 1 个小时，他的电话被十几个驻地的同事给打爆了。

　　大数据平台初期建设，主要是研发部门在推动，后来伴随着公司战略调整、业务升级，业务部门越来越依赖大数据平台的使用，参与度越来越深；平台升级为数据中台及后续业务融合，都是业务部门需求驱动的。

　　目前使用范围已经覆盖全业务线。自助式服务是东方明珠数据中台一大特色，极大改善了业务人员使用数据的效率和应用深度。

　　为了真正发挥数据中台的价值，东方明珠大数据工程主要从以下几个方面着力建设：

　　1. 成立战略专项小组。公司从计划伊始就成立了战略专项小组，党委书记和总裁分别任组长和副组长；各业务部门牵头的都是集团副总，从上而下贯彻饯行大数据战略。

　　2. 数据需求汇总管理。大数据相关需求，全部汇总到总部数据研发小组，不再进行独立小数仓和报表系统的研发；规范和严格元数据管理、数据质量管理，实现统一管理、统一发布、统一运营。

　　3. 分步走、阶段性项目推进机制。将大数据相关建设项目，实现集中指挥、统筹调度、资源共享，分阶段分批进行落地处理、每个阶段融入一部分关键业务，产出阶段性成果，再进行其他业务和平台整合。

　　4. 充分拥抱开源系统。传统商业软件无法满足东方明珠这个体量和业务复杂度的大数据需求，并且广电行业对自主可控、数据保护、安全隐私要求较高。

　　5. 沙堆模型落地 DevOps。采用“沙堆模型”在多个业务线开展 DevOps 的工具链落地，加速研发流程，逐步迁移、持续部署、持续集成。

　　6. 构建大数据生态合作体系。筛选适合东方明珠大数据发展体系的生态合作伙伴，如神策数据、公有云服务商等，这些服务商在整个中国的大数据生态圈里，都扮演着举足轻重的角色。

　　大数据项目建设是否成功，业务是检验的核心标准。东方明珠的大数据建设和应用深度日益成熟，并持续引领行业迈步向前。

　　从广电领域的视频、电视购物、文化旅游地产，到现在的用户价值精细化运营，东方明珠一直是整个广电行业的翘楚。

　　Part03 教学相长构建安全自主可控的大数据平台

　　广电领域强调安全、自主、可控，东方明珠所有的信息系统、数据系统，都必须满足国家合规性的要求，比如源数据要自主自控、异地多活，权限控制矩阵，强用户管理体系等。

　　东方明珠与其生态合作体系的合作伙伴们，一直是教学相长的关系，一路走来，共同把东方明珠数据中台成功建设完成。

　　以神策数据为例，目前东方明珠与神策数据的合作包括旗下的东方购物、百视通、梅奔中心、公有云服务商平台优化改造，甚至一些垂直孵化项目等等。

　　东方明珠驻地众多，总部技术团队需要支撑的业务范围辐射较广，DevOps 平台的推广和专业服务商的引入，较大的缓解了技术人力稀缺的挑战。在专业服务商选择上，胡俊说：东方明珠非常看重服务商在相关领域的实战经验，技术的成熟度、解决方案的成熟度，公司资质和团队背景。

　　在跟神策数据合作的过程中，对神策数据团队的产品和服务都很认可，除了大数据用户行为分析平台外，尤其对埋点服务和神策推荐算法的精准度非常满意。

　　以百视通 IPTV 某驻地为例，日活数百万用户通过 IPTV 机顶盒付费观看授权内容，部分精品内容需额外充值观看；在接入神策推荐之前，主要依赖人工推荐，以热门、付费和内容相关性为主要推荐参考。

　　为提升用户的观影体验、提高用户留存以及充值付费营收，东方明珠利用神策推荐解决方案，完成采集点击日志、展示日志、播放日志等所需用户行为数据，基于行为数据构建深度学习召回算法策略，采用 GBDT + LR 排序模型训练数据。

　　推荐算法上线两周后，神策推荐的效果，对比人工推荐，仅 CTR 一个指标即提升了 6 倍，对推荐内容的人均浏览次数提升了 1.9 倍。

　　图 4. 神策推荐全流程示意图

　　大数据平台建设项目，东方明珠团队对自主自控要求较高，在用户行为分析、埋点等相关领域，神策数据所提供的技术和方案较为成熟，并且神策分析 PaaS 平台的延展性和开放性能较好满足集团复杂业务和自主可控的需求，因此东方明珠利用神策分析平台，充分打通内部业务数据，发挥资源优势，构建一体化运作的融媒体大数据用户分析中心。

　　在精准推荐项目中，东方明珠采用了与神策数据一起敏捷迭代的合作模式，即基于神策推荐平台，双方投入研发资源，针对广电行业的个性化需求进行推荐算法的打磨升级，并基于神策推荐平台进行广电行业个性化应用和场景的深度开发，经过试点驻地的实际结果检验，目前已在各大驻地展开推广。