融合时空切片和双注意力机制的视频摘要方法

张云佐; 郭亚宁; 李文博

您当前的位置：

首页 >

文章列表页 >

融合时空切片和双注意力机制的视频摘要方法

专题 ICFPMCE 2022国际会议(续) | 更新时间：2025-07-09

- 融合时空切片和双注意力机制的视频摘要方法
- 暂无标题
- 西安交通大学学报 2022年第12期页码：127-135
- 作者机构：
  
  石家庄铁道大学信息科学与技术学院
- 作者简介：
- 基金信息：
  
  中央引导地方科技发展资金资助项目(226Z0501G);河北省自然科学基金资助项目(F2022210007);河北省高等学校科学技术研究项目(ZD2022100)
- DOI：
  中图分类号： TP391.41
- 纸质出版：2022
- 稿件说明：
移动端阅览
张云佐, 郭亚宁, 李文博. 融合时空切片和双注意力机制的视频摘要方法[J]. 西安交通大学学报, 2022,(12):127-135.
张云佐, 郭亚宁, 李文博. 融合时空切片和双注意力机制的视频摘要方法[J]. 西安交通大学学报, 2022,(12):127-135. DOI：

DOI：

摘要

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题，提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段，提出了基于时空切片的核时序分割算法(STS-KTS)

将视频场景信息反映为时空切片纹理信息，采用水平映射法将预处理后的时空切片投影为一维数组，作为KTS的输入特征；以双注意力机制和分组卷积为基本组件，结合BiLSTM构建时空特征提取网络，以快速提取丰富的时空特征信息，从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖；采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置；将帧分数转化为镜头分数，以选取内容丰富的片段，进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性，比现有方法性能更高，尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。

Abstract

关键词

Keywords

references

张晓栋.基于铁路货运大数据的重车车流推算关键技术研究[D].北京交通大学,2018(01).

Liu Tianrui,Meng Qingjie,Huang JunJie,Vlontzos Athanasios,Rueckert Daniel,Kainz Bernhard.Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2022.

Lin Jingxu,Zhong Sheng-hua,Fares Ahmed.Deep hierarchical LSTM networks with attention for video summarization[J].Computers and Electrical Engineering,2022.

Ping Li,Qinghao Ye,Luming Zhang,Li Yuan,Xianghua Xu,Ling Shao.Exploring global diverse attention via pairwise temporal relation for video summarization[J].Pattern Recognition,2021.

Zhu Wencheng,Lu Jiwen,Li Jiahao,Zhou Jie.DSNet: A Flexible Detect-to-Summarize Network for Video Summarization.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2021.

K. Anuradha,V. Anand,N. R. Raajan.An effective technique for the creation of a video synopsis[J].Journal of Ambient Intelligence and Humanized Computing,2020.

Zhao Bin,Li Xuelong,Lu Xiaoqiang.Property-Constrained Dual Learning for Video Summarization.[J].IEEE transactions on neural networks and learning systems,2019.

Yuan Li,Tay Eng Hock Francis,Li Ping,Feng Jiashi.Unsupervised Video Summarization with Cycle-consistent Adversarial LSTM Networks[J].IEEE Transactions on Multimedia,2019.

Huang Siyu,Li Xi,Zhang Zhongfei,Wu Fei,Han Junwei.User-Ranking Video Summarization with Multi-Stage Spatio-Temporal Representation.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2018.

Li Xuelong,Zhao Bin,Lu Xiaoqiang.A General Framework for Edited Video and Raw Video Summarization.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2017.

Zhang Yunzuo,Tao Ran,Wang Yue.Motion-State-Adaptive Video Summarization via Spatiotemporal Analysis[J].IEEE Transactions on Circuits and Systems for Video Technology,2017.

Łukasz Brocki,Krzysztof Marasek.Deep Belief Neural Networks and Bidirectional Long-Short Term Memory Hybrid for Speech Recognition[J].Archives of Acoustics,2015.

Yang Cong,Junsong Yuan,Jiebo Luo.Towards Scalable Summarization of Consumer Videos Via Sparse Dictionary Selection.[J].IEEE Trans. Multimedia,2012.

王浩,彭力.基于改进的全卷积网络的视频摘要算法[J].激光与光电子学进展,2021(22).

葛钊,赵烨.一种基于最短路径的视频摘要方法[J].合肥工业大学学报(自然科学版),2021(02).

武光利,李雷霆,郭振洲,王成祥.基于改进的双向长短期记忆网络的视频摘要生成模型[J].计算机应用,2021(07).

陈勇,刘曦,刘焕淋.基于特征通道和空间联合注意机制的遮挡行人检测方法[J].电子与信息学报,2020(06).

李依依,王继龙.自注意力机制的视频摘要模型[J].计算机辅助设计与图形学学报,2020(04).

张昊骕,朱晓龙,胡新洲,任洪娥.基于SURF和SIFT特征的视频镜头分割算法[J].液晶与显示,2019(05).

马明阳,梅少辉,万帅.采用非线性块稀疏字典选择的视频总结[J].西安交通大学学报,2019(05).

杨瑞琴,吕进来.基于双重检测的视频镜头分割方法[J].计算机工程与设计,2018(05).

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向机器视觉任务的多尺度图像特征压缩算法

面向图片识别的深度学习模型并行优化方法

深度学习技术及其故障诊断应用分析与展望

面向图像的有效目标区域提取方法

基于深度学习的高铁受电装置安全状态快速检测方法