采用<italic style="font-style: italic">Q</italic>学习的能量收集多中继协作网络中继选择策略

孙宝玺; 李巍; 翁康怡; 余文政; 梁中华

doi:10.7652/xjtuxb202606021

您当前的位置：

首页 >

文章列表页 >

采用Q学习的能量收集多中继协作网络中继选择策略

更新时间：2026-06-12

- 采用Q学习的能量收集多中继协作网络中继选择策略
- Q-Learning-Based Relay Selection Policy for Multi-Relay Cooperative Networks with Energy Harvesting
- 西安交通大学学报 2026年60卷第6期页码：245-255
- 作者机构：
  
  长安大学信息工程学院，710018，西安
- 作者简介：
  
  作者简介：孙宝玺（2000—），男，硕士生；
  李巍（通信作者），男，副教授，硕士生导师。
- 基金信息：
  
  陕西省自然科学基础研究计划资助项目(2024JC-YBMS-456;2021JM-185);中央高校基本科研业务费专项资金资助项目(300102243203)
- DOI：10.7652/xjtuxb202606021
  中图分类号： TN929.5
- 收稿：2025-08-30，
  
  纸质出版：2026-06-10
- 稿件说明：
移动端阅览
孙宝玺, 李巍, 翁康怡, 等. 采用Q学习的能量收集多中继协作网络中继选择策略[J]. 西安交通大学学报, 2026,60(6):245-255. DOI: 10.7652/xjtuxb202606021.

SUN Baoxi, LI Wei, WENG Kangyi, et al. Q-Learning-Based Relay Selection Policy for Multi-Relay Cooperative Networks with Energy Harvesting[J]. Journal of Xi'an Jiaotong University, 2026, 60(6): 245-255. DOI: 10.7652/xjtuxb202606021.
孙宝玺, 李巍, 翁康怡, 等. 采用Q学习的能量收集多中继协作网络中继选择策略[J]. 西安交通大学学报, 2026,60(6):245-255. DOI: 10.7652/xjtuxb202606021. DOI：

SUN Baoxi, LI Wei, WENG Kangyi, et al. Q-Learning-Based Relay Selection Policy for Multi-Relay Cooperative Networks with Energy Harvesting[J]. Journal of Xi'an Jiaotong University, 2026, 60(6): 245-255. DOI: 10.7652/xjtuxb202606021. DOI：

摘要

针对采用太阳能的能量收集（energy harvesting，EH）多中继协作通信网络中断性能较差的问题，基于强化学习理论提出了一种联合中继选择和功率分配策略的优化方法。采用基于太阳辐照度实测数据的随机EH模型用于描述能量收集动态状况；建立了EH多中继协作网络的马尔可夫决策过程模型，定义动作空间、状态空间、收益函数、传输策略和价值函数；使用

学习算法设计了网络传输策略的学习和优化过程，明确了单步学习过程中的动作选择、状态转移和

值更新方法。该优化方法能够根据太阳能EH状态、无线信道衰落状态和所有EH中继的电池电量，动态选择单个中继并确定其发射功率转发信号，以优化网络信息传输中断概率。此外，进行了计算机仿真实验，分析了网络参数对中断概率性能的影响，结果表明：网络中断概率在极高信噪比下存在饱和特性；所提优化方法相对于深度

网络算法，在网络中断概率为10

-2

～10

-3

时可获得3～5 dB的信噪比增益；相对于Actor-Critic和SARSA算法在网络中断概率为10

～10

-3

时可分别获得2～3 dB和3～7 dB的信噪比增益。

Abstract

To address poor outage performance in multi-relay cooperative communication networks with solar energy harvesting（EH），an optimization method forjoint relay selection and power allocation policy was proposed based on reinforcement learning.A stochastic EH model based on measured solar irradiance data was adopted to characterize EH dynamics.A Markov decision process（MDP）model of the EH multi-relay cooperative network was developed to define the action space，state space，reward function，transmission policy，and value function.The learning and optimization procedure for the network transmission policy was designed using the

-learning algorithm，and the action selection，state transitions，and

-value update rules in each learning step were specified.The optimization method was designed to dynamically select a single relay and determine it transmit power for signal forwarding according to the solar EH state，wireless channel fading state，and battery levels of all EH relays，aiming to optimize the network information transmission outage probability.Moreover，computer simulations were conducted to analyze the effects of network parameters on outage probability.The results indicate that the network outage probability exhibits satura

tion behavior at very high signal-to-noise ratio（SNR）levels.Compared with a deep

-network（DQN）algorithm，the proposed method can achieve an SNR gain of 3-5 dB when the network outage probability is 10

-2

-10

-3

.Compared with ActorCritic and SARSA algorithms，the proposed method can achieve SNR gains of 2-3 dB and 3-7 dB，respectively，when the outage probabilityis 10

-10

-3

关键词

Keywords

references

李向阳，尚飞，闫宇博，等.智能物联网低功耗感知综述[J].计算机研究与发展，2024，61（11）：2754-2775.

LI Xiangyang，SHANG Fei，YAN Yubo，et al.Survey on low power sensing of AIoT [J].Journal of Computer Research and Development，2024，61（11）：2754-2775.

王新奕，费泽松，周一青，等.面向物联网的通感算智融合：关键技术与未来展望[J].电子与信息学报，2025，47（4）：888-908.

WANG Xinyi，FEI Zesong，ZHOU Yiqing，et al.Integrated sensing，communication，computation，and intelligence towards IoT：key technologies and future directions [J].Journal of Electronics & Information Technology，2025，47（4）：888-908.

WILLIAMS A J，TORQUATO M F，CAMERON I M，et al.Survey of energy harvesting technologies for wireless sensor networks[J].IEEE Access，2021，9：77493-77510.

郭潇瑶，刘超，包建荣，等.低复杂度放大转发多中继选择及功率分配[J].电子学报，2022，50（11）：2602-2609.

GUO Xiaoyao，LIU Chao，BAO Jianrong，et al. Multi-relay selection and power allocation of low complexity amplify-and-forward cooperation [J]. Acta Electronica Sinica，2022，50（11）：2602-2609.

MA Dong，LAN Guohao，HASSAN M，et al.Sensing，computing，and communications for energy harvesting IoTs：a survey [J]. IEEE Communications Surveys & Tutorials，2020，22（2）：1222-1250.

周欣彤，肖琨.综合上下行链路的无线能量收集协作网络资源分配[J].浙江大学学报（工学版），2023，57（12）：2544-2552.

ZHOU Xintong，XIAO Kun.Resource allocation algorithm for wireless energy harvesting cooperative network integrating uplink and downlink[J].Journal of Zhejiang University（Engineering Science），2023，57（12）：2544-2552.

MAO Bomin，TANG Fengxiao，KAWAMOTO Y，et al.AI models for green communications towards 6G[J]. IEEE Communications Surveys & Tutorials，2022，24（1）：210-247.

陈珍珍，冀保峰，陈苏丹.基于能量收集的中继协同无线物联传输方案[J].计算机应用与软件，2022，39（11）：99-104.

CHEN Zhenzhen，JI Baofeng，CHEN Sudan.Transmission scheme in wireless internet of things with relay cooperation based on energy harvesting[J].Computer Applications and Software，2022，39（11）：99-104.

WU Yuan，QIAN Liping，HUANG Liang，et al.Optimal relay selection and power control for energy-harvesting wireless relay networks [J].IEEE Transactions on Green Communications and Networking，2018，2（2）：471-481.

张士兵，韩刘可，张美娟.基于能量收集的全双工认知中继网络功率分配算法[J].通信学报，2020，41（9）：139-146.

ZHANG Shibing，HAN Liuke，ZHANG Meijuan. Power allocation algorithm of full duplex cognitive relay network based on energy harvesting [J].Journal on Communications，2020，41（9）：139-146.

RAO S.Relay selection for energy harvesting cooperativeNOMA[C]//2019 IEEE International Conference on Advanced Networks and Telecommunications Systems（ANTS）.Piscataway，NJ，USA：IEEE，2019：1-6.

LI Wei，KU Menglin，CHEN Yan，et al.Performance analysis for two-way network-coded dual-relay networks with stochastic energy harvesting [J].IEEE Transactions on Wireless Communications，2017，16（9）：5747-5761.

AHMED I，AHMED I，HOSSAIN J.Optimal stochastic power allocation and relay selection for energy harvesting systems [J].IEEE Wireless Communications Letters，2017，6（4）：546-549.

HU Yang，QIU Chengrun，CHEN Yan.Lyapunovoptimized two-way relay networks with stochastic energy harvesting [J].IEEE Transactions on Wireless Communications，2018，17（9）：6280-6292.

CHEN Xuehan，LIU Yong，CAI Lin X.，et al.Resource allocation for wireless cooperative IoT network with energy harvesting [J]. IEEE Transactions on Wireless Communications，2020，19（7）：4879-4893.

ORTIZ A，WEBER T，KLEIN A.Multi-agent reinforcement learning for energy harvesting two-hop communications with a partially observable system state [J].IEEE Transactions on Green Communications and Networking，2021，5（1）：442-456.

ZHAO Bin，ZHAO Xiaohui. Deep reinforcement learning resource allocationin wireless sensor networks with energy harvesting and relay[J].IEEE Internet of Things Journal，2022，9（3）：2330-2345.

WANG Jindong，LIU Zhibin，LIU Xiaowu.Relay selection for energy-harvesting collaborative communication systems：a deep reinforcement learning approach [J]. IEEE Transactions on Industrial Informatics，2025，21（1）：771-780.

WANG Tong，WU Shiting，WANG Zhenyong，et al. A multi-featured actor-critic relay selection scheme for large-scale energy harvesting WSNs [J].IEEE Wireless Communications Letters，2021，10（1）：180-184.

KU Menglin，CHEN Yan，LIU K J R.Data-driven stochastic models and policies for energy harvesting sensor communications[J].IEEE Journal on Selected Areas in Communications，2015，33（8）：1505-1520.

邵彦彰，王磊，薛奕蕾.采用分布式Alamouti编码的虚拟全双工中继通信方案[J].西安交通大学学报，2020，54（12）：45-53.

SHAO Yanzhang，WANG Lei，XUE Yilei.A virtual full-duplex relay communication scheme based on distributed Alamouti protocol[J].Journal of Xi’an Jiaotong University，2020，54（12）：45-53.

LOPEZ-SALAMANCA J J，SEMAN L O，BEREJUCK M D，et al.Finite-state Markov chains channel model for CubeSats communication uplink [J].IEEE Transactions on Aerospace and Electronic Systems，2020，56（1）：142-154.

温广辉，杨涛，周佳玲，等.强化学习与自适应动态规划：从基础理论到多智能体系统中的应用进展综述[J].控制与决策，2023，38（5）：1200-1230.

WEN Guanghui，YANG Tao，ZHOU Jialing，et al. Reinforcement learning and adaptive/approximate dynamic programming：a survey from theory to applications in multi-agent systems [J].Control and Decision，2023，38（5）：1200-1230.

LI Wei，KU Menglin，CHEN Yan，et al.On outage probability for stochastic energy harvesting communications in fading channels[J].IEEE Signal Processing Letters，2015，22（11）：1893-1897.

丁世飞，杜威，张健，等.多智能体深度强化学习研究进展[J].计算机学报，2024，47（7）：1547-1567.

DING Shifei，DU Wei，ZHANG Jian，et al.Research progress of multi-agent deep reinforcement learning[J]. Chinese Journal of Computers，2024，47（7）：1547-1567.

丁长文，杨霖，李高祥.能量收集双向中继网络的高能效联合中继选择和功率分配算法[J].电子学报，2017，45（5）：1124-1129.

DING Changwen，YANG Lin，LI Gaoxiang.Energyefficient relay selection and power allocation for energy harvesting two-way relay network[J].Acta Electronica Sinica，2017，45（5）：1124-1129.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

采用Q学习的能量收集多中继协作网络中继选择策略

一种基于放大转发的中继选择策略

无线协作网络中存在干扰时的中继选择协议

无线能量传输中继选择与发送功率分配方案

一种相邻节点协作的无线传感器网络可靠传输方案

采用Q学习的能量收集多中继协作网络中继选择策略

Q-Learning-Based Relay Selection Policy for Multi-Relay Cooperative Networks with Energy Harvesting

DOI：10.7652/xjtuxb202606021

摘要

Abstract

关键词

Keywords

references