基于深度强化学习的基站缓存替换方法、系统及存储介质

本发明公开了物联网通信领域的一种基于深度强化学习的基站缓存替换方法、系统及存储介质，针对物联网的边缘缓存场景，引入物联网数据的新鲜度属性。定义了获取物联网数据时的时延成本以及新鲜度损失成本，并基于权衡传输时延以及数据新鲜度的方法定义了效用函数，同时以最小化用户的总效用为目标建立了优化问题。将缓存替换问题建模为MDP问题，通过将网络状态、数据请求状态以及网络上下文信息作为系统状态，将缓存替换方法作为动作进行抉择，以获取数据时的总成本来设计奖赏函数，并通过状态转移概率函数来确定下一个决策时期的状态。最后，采用A3C方法来对缓存替换方法进行优化，以实现传输时延和新鲜度之间的均衡，并获得更多的缓存命中。