【案例】赋能还是挑战?智媒魔方让AI全链条助力视听新闻制播
| 国家广电智库| 2024-05-31
【流媒体网】摘要:“Scube智媒魔方”助力上海广播电视台全媒体升级。

  上海广播电视台坚持新闻立台、文化兴台、融合强台,坚持“SMG in NET”全媒体发展,充分依托台内海量优质视听内容优势,与上海人工智能实验室等多家单位共同发起“中国大模型语料数据联盟”,建设高质量的视听语料数据集,推进大模型训练,努力打造完善国内领先的媒体领域专业垂直大模型和AIGC应用平台,赋能文化传媒行业发展。2024年两会前夕,上海广播电视台生成式人工智能媒体融合创新工作室推出AI能力产品化成果“Scube智媒魔方”。该产品着重打造媒体领域的AIGC能力,推动主流媒体由“AI赋能融合生产”进阶为“AI赋能内容创作”,以AIGC重构智能媒体数字底座。

  “Scube智媒魔方”当前搭建的“智能创作中心”,主要集成多模态素材识别、智能横屏转竖屏、智能生成稿件摘要、全语种智能翻译、视频智能剪辑拆条等多种AIGC能力,可以为报道团队提供现场实况内容的整理、新媒体端内容的制作。具体可包括正文、标题、摘要和关键词在内的新闻稿件生成、现场实况内容翻译、指定视频片段提取、视频字幕生成等新闻制播服务。

  在今年的全国两会报道中,“Scube智媒魔方”平台辅助上海台在各种新闻发布会、部长通道、代表通道、委员通道、主题记者会等重要现场的直播报道。通过实时语音识别、智能横屏转竖屏、自动写稿、全语种智能翻译和视频片段智能拆条等能力,形成现场实况内容整理、新媒体网端播出的内容制作、新闻报道初稿生成、实况内容翻译以及重要视频片段生成的新闻报道服务。

  据统计,2024全国两会报道中,“Scube智媒魔方”总共参与14场两会直播,时长达到19小时,共自动化生产149个AI内容包,其中含有298条AI拆条视频、1490个AI标题、745个AI关键词、2.3万字AI内容摘要、32万字AI实况文字等,每条内容包的生成时间仅需5分钟。通过Scube平台制作的全国两会报道节目,在上海广播电视台东方卫视、新闻综合等频道、“看看新闻”等APP以及各微信、微博等互联网平台得到广泛传播,在业界产生较大反响。

  当前,“Scube智媒魔方”在以下方面已经有较多实践探索。

  一是具备实时语音识别的基础能力。能够直接听写中英文混合的音频语音,基于NLP自然语言的理解和转义,可以正确处理各种口音、口误、停顿、重复、语气词等实际问题,并且能够区分不同人物的音色声纹,形成相应的对话记录,快速将活动实况发言转换为文本记录,生成直播报道的现场实录文字素材,辅助后续的生产处理。

  二是自动写稿生成新闻报道初稿。Scube根据直播报道的实况文本,能够通过AIGC垂类大模型自动撰写新闻稿正文、标题、摘要和关键词。自动写稿系统通过语义理解提取信息,基于新闻专业内容训练的专业垂类模型对信息进行语言的重新组织和规整。通过大模型的内容抽象总结能力,帮助新闻编辑总结摘要,提取关键词,生成各种风格的标题,满足各渠道内容发布的要求,形成全套新闻稿生产服务。新闻编辑可按需修改或重新生成新闻稿,所有的修改内容都将被系统保存,并用于该垂域模型的调优,以此形成包括内容生成、素材收集和模型调优的闭环。

  三是实况内容的全语种智能翻译。Scube具备大模型全语种翻译、语义理解能力,实现将全国两会实况发言文字记录实时翻译成英语或其他小语种供国际传播使用。全语种翻译利用AIGC大模型、语义理解能力,为内容制作人员提供音视频内容全语种翻译服务,并且配置“文本纠错算法”,从而进一步提高翻译内容的准确性和可靠性。在全国两会的宣传报道中,Scube大模型全语种翻译系统已经实现泰语、老挝语、印度语、塞尔维亚语等小语种内容的翻译,全面赋能国际传播的内容生产。

  四是视频直播智能拆条重要问答片段。Scube基于实时语音识别、自然语言处理、人脸图像识别、OCR文字识别等基础能力,利用大模型跨模态能力以及NLP语义理解技术,自动识别各种视频镜头,通过特定场景下的关键信号提示,将直播视频中的重要节点进行关键帧打点,并在特定的时刻进行自动剪辑,生成一段一段全国两会文字实录中一问一答相互对应的拆条视频,快速满足新媒体网端和大屏电视端视频内容生产的需求,降低内容生产的制作时间和人工成本,大幅提高新闻发布的时效性。

  五是智能横屏转竖屏赋能小屏内容的制作。Scube集成智能横屏转竖屏能力,通过AIGC大模型辅助全国两会新媒体端竖屏播出。基于大模型跨模态识别能力,视频系统可以实时跟踪主要人物在画面中的运动,保持以人物主体为焦点,进行合适的竖屏画面裁切,以其极短的处理延时特性,实现竖屏与横屏同播的效果,达到新媒体网端直播要求。Scube系统还能适配后期制作,匹配新媒体短视频的生产要求,自动生成两会报道的短视频素材合集,赋能新媒体内容的快速播发。

  目前,上海广播电视台还在联合高校AI实验室以及行业中的上下游机构形成紧密的合作关系,整合媒体各领域内容数据,探索“产学研用”共投、共建、共享等多元的机制。未来,“Scube智媒魔方”将充分依托上海台海量优质视听内容优势,推进实现“AI赋能融合生产”进阶为“AI赋能内容创作”,从“单点应用”到“全产业链打通”的能力提升,形成融合媒体发展的新质生产力,进一步促进激发产业跨界融合下的新业态、新形态。

责任编辑:房家辉

分享到:
版权声明:凡注明来源“流媒体网”的文章,版权均属流媒体网所有,转载需注明出处。非本站出处的文章为转载,观点供业内参考,不代表本站观点。文中图片均来源于网络收集整理,仅供学习交流,版权归原作者所有。如涉及侵权,请及时联系我们删除!