AlphaZero 靠自己精通三种棋类游戏

lucky☆star · 发表于 2018-12-7 21:25 · 北京

本帖最后由 lucky☆star 于 2018-12-7 21:42 编辑

http://science.sciencemag.org/content/362/6419/1140
https://deepmind.com/documents/260/alphazero_preprint.pdf

Google AI 子公司 DeepMind 的研究人员去年宣布他们的 AI 程序进化到了 AlphaZero，利用自对弈强化学习在短时间内打败了顶尖的国际象棋和日本将棋程序。在只知道基本规则的情况下，AlphaZero 靠自对弈精通了围棋、国际象棋和日本将棋。本周，DeepMind 在《科学》期刊上发表了他们的通用强化学习算***文，确认和更新了去年的结果。论文描述了 AlphaZero 如何快速的学习三种棋类游戏成为史上最强的棋手，尽管它只知道基本规则没有其它该领域的知识。

通用强化学习算法的验证可行，是否预示着AI可以在所有拥有具体规则领域中快速成为史上最强？

海岸线zjl · 发表于 2018-12-7 22:16 · 辽宁

拥有神级的运算能力要是连这种事都做不到研发人员就可以卷铺盖了

lucky☆star · 发表于 2018-12-7 22:26 · 北京

本帖最后由 lucky☆star 于 2018-12-7 22:35 编辑

海岸线zjl 发表于 2018-12-7 22:16
拥有神级的运算能力要是连这种事都做不到研发人员就可以卷铺盖了

通用强化学习算法＝不需要堆算力
通过学习，AI可以快速击败人类最强选手。而不是通过性能。
而且恐怖的地方是，AlphaZero不是通过模仿人类选手棋谱实现的学习，而是通过自对弈。
这是什么概念呢？你告诉AI这个游戏的规则，AI自学就成为史上最强了。完全不依靠人类的外部帮助。

不屈 · 发表于 2018-12-7 22:39 · 浙江

这种AI暂时只能玩明棋游戏，一旦不知道对手是什么牌的游戏通通GG。

置业万嘉 · 发表于 2018-12-7 22:49 · 北京

不屈发表于 2018-12-7 22:39
这种AI暂时只能玩明棋游戏，一旦不知道对手是什么牌的游戏通通GG。

实际上不知道对手牌的那些游戏基本都只是不确定性高而已，整体策略水平比围棋什么的差的太远。目前AI已经能完爆德州扑克的职业选手了。这些游戏不可能***，但是AI的胜率可以远超人类玩家。

Mobilegate · 发表于 2018-12-7 23:09 · 上海

本帖最后由 Mobilegate 于 2018-12-7 23:15 编辑

lucky☆star 发表于 2018-12-7 22:26
通用强化学习算法＝不需要堆算力
通过学习，AI可以快速击败人类最强选手。而不是通过性能。
而且恐怖的地 ...

所有的棋类游戏，基本的基本就是算力。以围棋为例，棋类软件之所以能够在近期爆发，一方面是算力的提高，可以对数百年来的棋谱进行检索归类调用，另一方面就是根据这些人类所积累的数据，优化算法。但无论是归纳，还是演绎，都是以算力为基础。

即使是围棋本身，其实很多年前，一般流行配置的电脑就可以在9x9棋盘上击败人类高手，为什么，就是因为小棋盘变化少，计算量小。

而自对弈，即使像我这样的围棋初学者，都是不是自娱乐一把，然而，靠手来摆棋子，没个两三小时能结束一盘？并且，作为本我的思维，自我博弈总有局限性，无法像机器那样，可以相对更为纯粹的左右互博，以达到最优演化。而电脑能够这么做的基础，就是靠算力，从而在既定规则下，不断积累数据，从而获得当前局面下的最优解。

显示全部楼层 · 发表于 2018-12-7 23:12 · 上海

本帖最后由奇迹的杨99 于 2018-12-7 23:22 编辑

lucky☆star 发表于 2018-12-7 22:26
通用强化学习算法＝不需要堆算力
通过学习，AI可以快速击败人类最强选手。而不是通过性能。
而且恐怖的地 ...

本质就是堆算力+聪明点的穷举毕竟这方面基础理论都是二十年前的东西了那时候做不出，现在做得出就是因为算力上升了。另外对于棋类这种封闭环境问题而言是自对弈还是通过输入数据学习区别也并不大，没必要神话。如果AI靠自学而不是标定样本学会了认猫认狗那才叫大新闻。

反正就是更高明点的应用统计学, 这波AI热最多再一年也差不多可以退烧了。
https://36kr.com/p/5147763.html
啊其实还有几篇更全面的文章找不到了。总之不是说现在的AI没用但没那么神就是了。

Mobilegate · 发表于 2018-12-7 23:20 · 上海

奇迹的杨99 发表于 2018-12-7 23:12
本质就是堆算力+聪明点的穷举毕竟这方面基础理论都是二十年前的东西了那时候做不出现在做得出就是因为 ...

我非常同意您的观点。

目前的AI，本质上就是应用统计学。正因为经过长期以来的数据积累，以及运算力的提高，使得电脑可以比较不同形势局面的价值，从而以优化的算法，避免穷举。

个人以为，哪一天AI能够根据数据样本判断未知病理，并形成治疗方案，那才是人工智能真正成型的时刻。就目前而言，更多的是“麻辣烫”和“冒菜”的区别。

Aestibalis · 发表于 2018-12-7 23:31 · 美国

不就是unsupervised版本的alpha go吗

显示全部楼层 · 发表于 2018-12-7 23:41 · 上海

Mobilegate 发表于 2018-12-7 23:20
我非常同意您的观点。

目前的AI，本质上就是应用统计学。正因为经过长期以来的数据积累，以及运算力的提 ...

嗯而且我觉得ALPHAGO那帮人无聊到在围棋后再去弄别的棋是不是说明他们也想不出更好的应用场合而不得不跑出来刷下存在感了呢。感觉他们去年宣布放弃星际项目后就不知道下一步在何方了。

		自动登录	找回密码
密码			注册

[硬件周边] AlphaZero 靠自己精通三种棋类游戏