融合时空切片和双注意力机制的视频摘要方法

您当前的位置：

首页 >

文章列表页 >

融合时空切片和双注意力机制的视频摘要方法

更新时间：2025-07-09

- 融合时空切片和双注意力机制的视频摘要方法
- Issue 12, Pages: 127-135(2022)
- 作者机构：
  
  石家庄铁道大学信息科学与技术学院
- 作者简介：
- 基金信息：
- DOI：
  CLC： TP391.41
- Published：2022
- 稿件说明：
移动端阅览
[J]. 2022, (12): 127-135.
DOI：

[J]. 2022, (12): 127-135. DOI：

摘要

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题，提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段，提出了基于时空切片的核时序分割算法(STS-KTS)

将视频场景信息反映为时空切片纹理信息，采用水平映射法将预处理后的时空切片投影为一维数组，作为KTS的输入特征；以双注意力机制和分组卷积为基本组件，结合BiLSTM构建时空特征提取网络，以快速提取丰富的时空特征信息，从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖；采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置；将帧分数转化为镜头分数，以选取内容丰富的片段，进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性，比现有方法性能更高，尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。

Abstract

关键词

Keywords

references

张晓栋.基于铁路货运大数据的重车车流推算关键技术研究[D].北京交通大学,2018(01).

Liu Tianrui,Meng Qingjie,Huang JunJie,Vlontzos Athanasios,Rueckert Daniel,Kainz Bernhard.Video Summarization through Reinforcement Learning with a 3D Spatio-Temporal U-Net.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2022.

Lin Jingxu,Zhong Sheng-hua,Fares Ahmed.Deep hierarchical LSTM networks with attention for video summarization[J].Computers and Electrical Engineering,2022.

Ping Li,Qinghao Ye,Luming Zhang,Li Yuan,Xianghua Xu,Ling Shao.Exploring global diverse attention via pairwise temporal relation for video summarization[J].Pattern Recognition,2021.

Zhu Wencheng,Lu Jiwen,Li Jiahao,Zhou Jie.DSNet: A Flexible Detect-to-Summarize Network for Video Summarization.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2021.

K. Anuradha,V. Anand,N. R. Raajan.An effective technique for the creation of a video synopsis[J].Journal of Ambient Intelligence and Humanized Computing,2020.

Zhao Bin,Li Xuelong,Lu Xiaoqiang.Property-Constrained Dual Learning for Video Summarization.[J].IEEE transactions on neural networks and learning systems,2019.

Yuan Li,Tay Eng Hock Francis,Li Ping,Feng Jiashi.Unsupervised Video Summarization with Cycle-consistent Adversarial LSTM Networks[J].IEEE Transactions on Multimedia,2019.

Huang Siyu,Li Xi,Zhang Zhongfei,Wu Fei,Han Junwei.User-Ranking Video Summarization with Multi-Stage Spatio-Temporal Representation.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2018.

Li Xuelong,Zhao Bin,Lu Xiaoqiang.A General Framework for Edited Video and Raw Video Summarization.[J].IEEE transactions on image processing : a publication of the IEEE Signal Processing Society,2017.

Zhang Yunzuo,Tao Ran,Wang Yue.Motion-State-Adaptive Video Summarization via Spatiotemporal Analysis[J].IEEE Transactions on Circuits and Systems for Video Technology,2017.

Łukasz Brocki,Krzysztof Marasek.Deep Belief Neural Networks and Bidirectional Long-Short Term Memory Hybrid for Speech Recognition[J].Archives of Acoustics,2015.

Yang Cong,Junsong Yuan,Jiebo Luo.Towards Scalable Summarization of Consumer Videos Via Sparse Dictionary Selection.[J].IEEE Trans. Multimedia,2012.

王浩,彭力.基于改进的全卷积网络的视频摘要算法[J].激光与光电子学进展,2021(22).

葛钊,赵烨.一种基于最短路径的视频摘要方法[J].合肥工业大学学报(自然科学版),2021(02).

武光利,李雷霆,郭振洲,王成祥.基于改进的双向长短期记忆网络的视频摘要生成模型[J].计算机应用,2021(07).

陈勇,刘曦,刘焕淋.基于特征通道和空间联合注意机制的遮挡行人检测方法[J].电子与信息学报,2020(06).

李依依,王继龙.自注意力机制的视频摘要模型[J].计算机辅助设计与图形学学报,2020(04).

张昊骕,朱晓龙,胡新洲,任洪娥.基于SURF和SIFT特征的视频镜头分割算法[J].液晶与显示,2019(05).

马明阳,梅少辉,万帅.采用非线性块稀疏字典选择的视频总结[J].西安交通大学学报,2019(05).

杨瑞琴,吕进来.基于双重检测的视频镜头分割方法[J].计算机工程与设计,2018(05).

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

面向机器视觉任务的多尺度图像特征压缩算法

面向图片识别的深度学习模型并行优化方法

深度学习技术及其故障诊断应用分析与展望

面向图像的有效目标区域提取方法

基于深度学习的高铁受电装置安全状态快速检测方法

Related Author

李凡

王子溪

贺丽君

张云飞

杨文杰

杨阳

刘帅

赵宇阳

Related Institution

西安交通大学电子与信息学部

兰州交通大学电子与信息工程学院

西安交通大学机械制造系统工程国家重点实验室

西安交通大学智能网络与网络安全教育部重点实验室

中车青岛四方车辆研究所有限公司电气事业本部

⁰