问
深度强化学习算法DDPG如何使用高维数据输入？
2022-09-23提问
- 0关注
- 0收藏，888浏览
问题描述：
看了文章之后发现文章中并没有很明确的给出采用高维的像素输入应该如蛇涉及网络的结构，不知是否是自己没有阅读仔细。看了很多网上关于DDPG的例子，包括使用DDPG玩赛车游戏TORCS，也是使用的地位的传感器数据。
组网及组网描述：
- 2022-09-23提问
- 举报
-
(0)
这个问题我之前也思考了很长时间，目前也没有找到比较通用的方式，不过我做了一些小的实验，楼主可以参考一下。首先我使用的测试环境是gym环境中的Pendulum，也是连续控制里的经典问题。
具体的State，Action, Rewad就不一一介绍，关于输入的raw pixel的处理方面我采用的是CNN，输入时连续的四帧image，详情如下：
第一层: 卷积核 (4x4x32x64) 步长为2 ，后接2x2的max pooling层
第二层: 卷积核(4x4x32x64) 步长为2 ，后接2x2的max pooling层
第三层: 卷积核 (3x3x32x64) 步长为1 ，后接2x2的max pooling层
经过这个实验猜想为什么DDPG使用高维数据输入训练不易，从连续动作空间与离散动作空间的方面猜想，离散动作空间更易探索，这样的话更容易前面特征层的提取。而连续动作空间相反，并且连续动作空间更容易受特征的微小改变而改变。
学习和关注人工智能技术与咨询，更多详情可咨询175-3102-1189,或到我司官网了解：***.***/
联系人：申老师；手机：17531021189（v同号）
- 2022-09-23回答
- 评论(0)
- 举报
-
(0)
编辑答案
➤
✖
亲~登录后才可以操作哦!
确定
✖
✖
你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作
✖
举报
×
侵犯我的权益
>
对根叔社区有害的内容
>
辱骂、歧视、挑衅等（不友善）
侵犯我的权益
×
侵犯了我企业的权益
>
抄袭了我的内容
>
诽谤我
>
辱骂、歧视、挑衅等（不友善）
骚扰我
侵犯了我企业的权益
×
您好，当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时，您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱，我们会在审核后尽快给您答复。
- 1. 您举报的内容是什么？（请在邮件中列出您举报的内容和链接地址）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
- 3. 是哪家企业？（营业执照，单位登记证明等证件）
- 4. 您与该企业的关系是？（您是企业法人或被授权人，需提供企业委托授权书）
我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。
抄袭了我的内容
×
原文链接或出处
诽谤我
×
您好，当您发现根叔知了上有诽谤您的内容时，您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱，我们会尽快处理。
- 1. 您举报的内容以及侵犯了您什么权益？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。
对根叔社区有害的内容
×
垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载
>
辱骂、歧视、挑衅等（不友善）
骚扰我
诱导投票
不规范转载
×
举报说明
这两小号一问一答，明显打广告的