AlphaZero一周年:登上《科学》封面,完整论文首次公开

大数据文摘出品

作者:魏子敏、蒋宝尚

阿尔法元(AlphaZero)

诞生一周年之际,《自然(Science)》杂志今天以封面文发布了阿尔法元(AlphaZero)经过同行审议的完整论文,Deepmind创始人兼CEO哈萨比斯亲自执笔了这一论文。

具体来说,DeepMind公开了完整评估后的AlphaZero,不仅回顾、验证了之前的结果,还补充了新的提升:除了围棋,AlphaZero自学了另外两种复杂棋类游戏——国际象棋和日本将棋。

论文题目为《A general reinforcement learning algorithm that masters chess, shogi and Go through self-play》,一共32页,从细节到参考文献算法,都做了详细介绍。

论文链接:

http://science.sciencemag.org/content/362/6419/1140

《Science》杂志评价称,能够解决多个复杂问题的单一算法,是创建通用机器学习系统,解决实际问题的重要一步。

去年的12月7日,DeepMind的研究组宣布已经开发出一个更为广泛的阿尔法元(AlphaZero)系统,可以训练自己在棋盘,将棋和其他规则化游戏中实现“超人”技能,所有这些都在一天之内完成,并且无需其他干预,战绩斐然:

4个小时成为了世界级的国际象棋冠军;

2个小时在将棋上达到世界级水平;

8个小时战胜DeepMind引以为傲的围棋选手AlphaGo Zero。

当时,还没有经过同行评议的这篇论文首发在arxiv上,引发了人工智能界的重大探讨。

https://arxiv.org/pdf/1712.01815.pdf

时隔一年,Science杂志以封面发布了经过了同行评议、AlphaZero的最新进展和完整评估。同日,Deepmind也发布了一篇博文宣布这一消息:

今天我们很高兴地发布了AlphaZero的完整评估,该评估发表在Science (开放访问版本)杂志上,该期刊确认并更新了这些初步结果。论文中描述了AlphaZero如何从了解规则开始训练,并快速学习每个游戏成为高级玩家。

博文中,Deepmind还请来了几位AlphaZero的人类对手,比如,20年前,在“人机大战”中被深蓝打败的前世界国际象棋冠军加里卡斯帕罗夫,描述了AlphaZero的棋术。

“我无法掩饰自己的满足感,它非常有活力,就像我自己一样!“

20年前与深蓝对弈的加里卡斯帕罗夫

DeepMind博文链接:

https://deepmind.com/blog/alphazero-shedding-new-light-grand-games-chess-shogi-and-go/

DeepMind提到,传统的国际象棋引擎,包括20年前的深蓝,多依赖于数千个强大的人类玩家辅助的规则,尝试解释游戏中的所有可能性。Shogi程序也是为游戏定制出来的,使用与国际象棋程序类似的搜索引擎和算法。

AlphaZero则采用了一种完全不同的方法,用深度神经网络和通用算法取代了这些手工制作的规则。

不仅是国际象棋,这一方式适用于非常多复杂的游戏。一个未经训练的神经网络可以通过强化学习的方式试验,最终经过多次学习,在博弈中自己掌握这个游戏:起初,它完全随机下子走位,但随着时间的推移,系统从胜利、失败中学习,从而调整神经网络的参数,不断优化,直到找到最有利的选择。

文章中提到,每个游戏的难度不同,算法需要训练的时间也不同,例如,系统的掌握象棋需只需训练9个小时,围棋需要的计算时间多一些,需要13天左右。

训练有素的网络用于指导搜索算法 - 称为蒙特卡罗树搜索(MCTS),以选择游戏中最有希望的移动。对于每一步,AlphaZero的搜索范围是传统国际象棋搜索中很小的部分。例如,在国际象棋中,它每秒仅需要搜索6万个位置,相比之下,Stockfish需要搜索6千万个位置。

当然,AlphaZero算法最大的意义在于,它不仅适用于“下棋”,这个算法的目标是希望能创建出一个智能系统,够解决各种现实问题,另外,在适应环境方面具有灵活性。

灵活适用多环境任务是当前人工智能发展的一个挑战,即只能在特定的领域有非常高的技能水平,如果将任务迁移之后,系统往往不适用了。

AlphaZero能够掌握三种不同的复杂游戏,将来或许会攻破所有游戏。这在一定的程度上改善了AI下一步的发展环境。

DeepMind的Alpha家族从最初的围棋算法AlphaGo,几经进化,形成了一个家族。最新成员AlphaFold,在预测蛋白质的3D结构方面超过了人类。这一研究成功也已经被deepmind发布。