Deep Reinforcement Learning: Pong from Pixels

这篇文章由AI领域知名研究者Andrej Karpathy撰写，全面介绍了强化学习领域的最新发展。文章开篇指出RL是当前热门领域，列举了多个令人瞩目的突破：计算机可以从原始像素自动学习玩ATARI游戏、AlphaGo击败世界围棋冠军、模拟四足动物学习奔跑跳跃、机器人学习执行复杂操作任务。作者分享了自己在RL领域的学习历程：研读了Richard Sutton的强化学习教材、学习了David Silver的课程、观看了John Schulmann的讲座、用JavaScript编写了RL库、在DeepMind实习从事深度RL研究、最近还参与了OpenAI Gym基准测试工具包的设计开发。文章还分析了AI发展的四大制约因素：计算能力（摩尔定律、GPU、ASIC等）、数据（结构化数据集如ImageNet）、算法（反向传播、CNN、LSTM等研究思想）和基础设施（Linux、TCP/IP、TensorFlow等软件工具）。作者认为RL领域的进步并非完全由新算法驱动，这一点与计算机视觉领域的发展类似。