推荐阅读:长江论道|观点碰撞——嘉宾演讲集萃
2024年5月23-24日,由流媒体网主办,湖北长江云新媒体集团、湖北电信、湖北移动、湖北联通协办的「长江论道暨第27届智能视听与科技创新产业论坛」在武汉隆重举行。
本届论道以“洞见新格局·智变新视听”为主题,聚焦大屏格局之变,寻找视听向新路径。
在23日举行的“IPTV价值论坛”上,上海网仕科技有限公司副总经理曹洁 做了主题为《AI在视频内容生产中的应用探索》的演讲。
以下为演讲全文:
尊敬的各位领导、同行,女士们、先生们:
大家好!很荣幸能在这里向各位分享我今天的主题——AI在视频内容生产中的应用探索。
我重点分享AI在5个内容生产方向上的应用:AI拆条、AI 审核、AI标签、AI感知编码、AI 超分。
AI拆条
随着科技的飞速发展,人工智能已经成为了我们生活中不可或缺的一部分。在这个信息爆炸的时代,如何从海量视频中提取有价值的信息,成为了摆在我们面前的一道难题。而AI智能拆条机制正是解决这一问题的有效途径。在接下来的演讲中,我们将详细探讨AI智能拆条机制的原理、应用场景以及未来发展趋势。希望通过这次分享,能够帮助大家更好地理解和应用AI技术,赋能视频内容生产制作。
首先,我们来了解一下什么是AI智能拆条。简单来说,它是指利用人工智能技术对长文本进行自动拆解和整理的过程。这种技术在信息处理和知识管理领域中起着重要的作用。通过智能拆条,我们可以更快速、准确地提取视频中的有效信息,提高工作效率。
在过去的几十年中,随着多媒体时代的到来,人们对海量视频信息的获取和处理需求日益增加。为了更好地应对这个挑战,研究人员开始将注意力集中在如何高效地从视频中提取信息上。随着AI的讯猛发展,AI智能拆条技术应运而生。经过不断的发展和完善,如今的AI智能拆条技术已经取得了显著的成就。
让我们来看一下AI智能拆条目前主要应用的领域。
在新闻媒体行业中,AI智能拆条可以帮助记者们更迅速地从大量报道中提取重要信息,为新闻稿的撰写提供便利,更加实时、及时地发布热点。此外,在学术研究领域,智能拆条可以用于整理文献资料和提取关键信息,提高研究者的工作效率。此外,金融、法律等行业也广泛应用了AI智能拆条技术,以实现更高效的数据处理和管理。
在娱乐领域,该技术被广泛用于电影和电视剧的剪辑工作,它能快速精准地提取精彩片段和一键缩编,从而极大地提高了工作效率。
教育领域中也能看到AI智能拆条的影子,通过该技术的助力,教师能够更加高效地筛选出重点知识点,为学生提供更为针对性的学习资源。
AI智能拆条的关键技术有人脸识别、语音识别、OCR识别、 转场识别技术、视频数据的结构化分析、语义关系构建与分析等。
语音识别主要包括特征提取、模型训练。
OCR识别是通过分析和解码图像上的文本数据,将图片转化为可编辑的文本信息的技术。
转场和场景识别技术为AI智能拆条提供了关键的基础支持。通过强大的转场和场景识别能力,AI智能拆条能够自动识别视频中的不同场景和转场,并实现精准的拆解。这将大大简化视频处理过程,提高工作效率,并为后续的视频编辑和应用打下坚实的基础。
视频数据的结构化分析是基于深度学习技术,通过大量的数据训练模型,实现了对视频、音频等多媒体内容的自动拆解。这一过程涉及到的深度学习技术,包括卷积神经网络(CNN)、循环神经网络(RNN)和自编码器等。通过这些复杂的算法,模型能够理解并识别出视频和音频中的关键信息,并将其拆分为可独立处理的部分。
我们可以通过这些技术提取视频中的关键帧、场景、人物等元素,为后续的特征分析提供坚实的基础。如利用计算机视觉技术从视频中提取出颜色、纹理、形状等视觉特征,同时结合语义信息,如物体类别、动作等,进行特征选择。这一步骤将极大地提高我们的模型的泛化能力。最后,我们将对提取出的特征进行降维处理,去除冗余信息,保留关键特征。然后通过嵌入技术,将特征转换为低维向量表示,这将极大地便于我们对数据进行处理和模型的训练。通过结构化解析、特征提取与选择以及特征降维与表示三个关键环节,为我们的研究工作打下坚实的基础。
AI智能拆条的工作流程是如何进行的?
首先,我们来看数据输入与预处理。在开始任何处理之前,原始的视频或音频数据必须被输入到系统中去,然后进行预处理,包括格式转换、噪声消除等一系列步骤,确保数据的质量和可用性。接下来是特征提取与分析环节。在这一阶段,我们将使用先进的算法和模型从预处理后的数据中提取关键特征。这些特征可能包括音高、节奏、音色等等,并进行深入的分析和理解。这是AI智能拆条能够理解和识别视频或音频内容的关键环节。最后,我们进入自动拆分与优化阶段。基于前面提取的特征和深度分析的结果,AI智能拆条系统能自动将内容进行拆分,生成多个独立的片段。同时,针对每个生成的片段,系统会进一步优化其内容和结构,以满足用户对于短视频的需求和预期。至此,我们已经详细地了解了AI智能拆条的结构化处理流程。这个过程不仅体现了人工智能技术的强大能力,也是我们追求更高效、个性化服务的重要体现。
语义关系构建与分析, AI智能拆条的第一步便是通过算法识别出视频中各个片段的语义关系,以此理解片段之间的逻辑联系。接着,AI会在识别出语义关系后,进一步计算各片段之间的关联度,以便更精确地确定哪些片段应该被合并或拆分。最后,经过不断的学习和优化,AI能够更准确地理解和处理复杂的语义关系,使得智能拆条的结果更加符合人类的观看习惯和理解方式。这就是我们今天讨论的主题——语义关系的构建与分析。
我们基于浏览器实现了完整的视频云生产平台,整个平台朝着轻量化,智能化的目标开发实现,所谓的轻量化就是完全基于浏览器的云架构,所有的视频生产用户都可以在浏览器中完成,其中包含有多个模块,包括离线转码,直播转码、云媒资、云导播、云编辑、云轮播、云监控、云拆条等等,在云化的基础上我们用AI赋能,使得视频生产更加的智能化,今天我要给大家着重介绍的就是智能云折条。
我们可以看到在浏览器中打开云拆条模块就可以快速地实时地预览频道内容,并且可以在多个频道中轻松切换,实时录制,实时预览,实时完成AI分析,我们看图中所指的实时智能时间轴,上面已经实时展示了AI分析结果,编辑一眼就能快速定位。
新闻类频道其中夹杂着许多广告,如果没有AI辅助,编辑人员往往要完整地快速浏览整个时间轴才能找到节目的出入点,并且要卡到关键帧,这比较费时费力。但AI时间轴就已经完整地展现了节目片断。
如何利用AI生成的智能时间轴标识来快速切片?我们可以看下方的时间轴,编辑只需要在时间轴上双击即生成切片,也就是一键生成切片,切片的出入点自动标记,之后编辑直接点预览按钮进行切片预览。
关于AI智能拆条在新闻编辑与制作中的应用。首先是在新闻编辑中,通过应用AI智能拆条技术,我们可以迅速提取出新闻的关键信息。这一过程不仅大大提升了编辑工作的效率,还确保了新闻的准确性,让新闻内容更具针对性和价值。其次,在新闻制作过程中,AI智能拆条同样发挥了重要作用。它可以帮助我们的新闻制作人员快速整理和分析大量信息,从而提升新闻的质量与深度。这样我们能够制作出更丰富、更深入的新闻报道,为观众提供更全面的视角。再者,AI智能拆条技术在新闻播报中也有着不可忽视的作用。基于这项技术,我们的新闻实现了自动播报,这无疑极大地提高了新闻的传播速度和覆盖范围。这种自动化的播报方式不仅节省了大量的人力物力,同时也让我们能够更快地将新闻信息传递给公众。以上就是AI智能拆条在新闻编辑和制作中的一些主要应用情况。在未来的工作中,我相信这项技术的更多潜力将会得到进一步挖掘和应用。
在影视后期制作中的应用。首先,是AI智能拆条在剪辑中的应用。利用AI智能拆条技术,能快速且准确地从原始视频中提取出关键片段,从而极大地提高了影视后期制作的效率。它通过精准的算法,使得剪辑人员可以更高效地处理和编辑大量的视频素材。其次,AI智能拆条对于特效制作的贡献也不容忽视。这项技术能自动识别并提取视频中的特定元素,如人物、物品等,为特效制作提供了丰富的素材。这使得我们在进行电影特效制作时,能够更加精细且生动地展现出我们想要展现的场景和效果。最后,是AI智能拆条在音频处理中的应用。除了处理视频外,AI智能拆条还可以处理音频。例如,它可以自动识别并提取背景音乐、对话等音频元素,为音频后期制作带来了极大的便利。这样我们就可以更好地完成声音设计和音效处理的工作,提升影片的整体质量。
在教育内容制作中的应用。在当前的信息化时代,AI技术为教育带来了许多新的可能性。其中一个显著的应用就是通过AI智能拆条来助力教育内容创新。首先,AI智能拆条可以将复杂的教育内容拆分为易于理解的小片段。这样的方式有助于提高学生的学习兴趣和效率。传统的教育模式往往以冗长的课程内容为主,而学生在学习过程中可能难以集中注意力或掌握重点。通过将内容拆解为小片段,学生可以更加轻松地理解和消化知识。同时,这种碎片化的学习方式也符合现代社会快节奏的特点,使学生可以在繁忙的日程中进行高效学习。其次,AI智能拆条还支持个性化教育内容的制作与分发。根据学生的需求和水平,AI可以生成定制化的教育内容,实现个性化教学。每个学生的学习能力和兴趣都有所不同,而传统的统一教学内容可能无法满足每个学生的个性化需求。通过AI智能拆条,我们可以针对不同的学生制定适合他们的学习计划和教材,使每个学生都能够在适合自己的学习环境中取得更好的效果。最后,AI智能拆条还能够对教育内容进行智能分析和优化提升。通过对内容的智能分析,AI能够发现其中的优缺点,并提供相应的改进建议。这样可以帮助教师们不断优化和提升内容质量,以满足学生日益增长的学习需求。随着科技的进步和社会的发展,学生们对于教育内容的要求也在不断提高,而AI智能拆条正是一种能够满足这种需求的创新工具。总而言之,AI智能拆条在教育内容制作中的应用具有重要的意义。它能够拆分复杂的内容、实现个性化教育和提高内容质量,为现代教育带来许多优势。相信在不久的将来,AI技术将在教育领域发挥越来越重要的作用。
AI审核
基于敏感信息知识图谱,敏感人物分类及样本库,成熟的审核标准,图像要素AI识别,全屏文字OCR提取,语音识别等先进技术,对政治敏感、涉暴、涉黄、广告等风险内容进行审核,支持文字、图像、音频、视频等各种内容形式,满足用户多种业务场景的需求。
产品优势:
1、违规库精准动态实时更新
7*24小时接收中宣部、总局、网信办等上级各监管部门的宣传提示,实时精准更新文本、人脸违规库。
2、行业积累百万级审核资料库
涵盖敏感词、一号领导、国级领导、省部级领导、全国县级以上四套班子领导、落马官员、劣迹艺人、敏感旗帜、涉独人物等各种类别素材。
3、智审分类覆盖面广
支持涉政、涉黄、暴恐、违禁、社会、广告等216个细分类别智能审核;能精准识别涉政敏感标志200多种,违规场景50多种。
4、业务能力与技术能力深度融合
监管政策钻研透彻,深度参与行业审核标准制定,每年为总局提供审核培训达上千人次,超强业务能力融合自研技术能力,实现人脸等涉政场景高效识别,准确率比同类产品高5%~20%。
AI标签
AI标签是对视音频内容进行多维分析的工具,实现拆条体系通过标签精准定位打点,方便融媒体资产的统一检索和共享交换。
AI标签系统基于人脸识别、OCR文字识别技术、ASR语音识别、NLP自然语言处理等技术,智能提取视频中的结构化信息,再通过知识图谱进行一阶推理和一阶联系提取出视频标签。
AI标签可为用户视音频内容分析、视音频检索、智能推荐等业务场景提供支持。
AI感知编码
AI 感知编码引擎集感知编码、AI 辅助编码、智能码控于一体,兼容点播、直播、RTC等应用,节省带宽,为企业降本增效。
对内容进行感知,对图像画质进行加强;在画质加强的根底上,进行码率调配的优化;联合外围编码器的优化,压缩带宽,提升用户体验。
AI提供了对内容进行剖析和了解的伎俩,并在此基础上实现疾速、最优的参数编码的预测。
基于 ROI 的编码:所谓 ROI 就是人眼感兴趣的区域,人眼有注意力机制,人眼在看一幅图像或者看视频的时候有更敏感的区域。整个视频输出之后,人眼最感兴趣的区域,首先是人体,而后是人脸,还有一个是字幕。检测到感兴趣区域之后,就能够对这些 ROI 的区域进行预处理,做一些边缘增强锐化。
AI超分应用
AI 超分增强修复引擎,融合HDR增强、智能超分辨率、光流插帧、画质增强修复,提升视频观看品质。
在移动我们每年大概修复的电影达到1000多部,这样相当于二次创作了很多原生的电影。
通过SDR到HDR的变化,把原来老的黑白电影变成现在的彩色电影,做一些噪声的智能调节,做智能的上色,以符合现在的播放。
智能插帧,以前播放的电影基本都是25帧或者30帧,现在可以做到60帧,甚至到120帧,会感觉流畅度比以前高很多。
我今天跟大家分享AI的赋能,帮助用户提高制作生产的效率,AI辅助生产,人工进行修正,做一些调整,能够帮助运营商降本增效。
我此次的分享到此为止,谢谢大家!
责任编辑:房家辉
流 • 视界
专栏文章更多
- 榜单|电视台最新数据发布! 2024-09-06
- [常话短说] 【重要】又一政策落地,事关新型信息基础设施协调发展! 2024-09-06
- [常话短说] 【重大】运营一体化,南方某省“一省一网”新进展! 2024-09-04
- [常话短说] 【利好】某省印发“有线电视补助”实施细则! 2024-09-03
- 月报|2024年7月智能电视大数据报告:月活率91%,月活终端3.01亿台 2024-08-29