看过我之前写的文章的读者应当知道, 我本人对于做出强AI是非常乐观的. 同时我也认为这并不是一件好事. 我的观点一直是在做出强AI引发系统内部剧烈冲突之前(AI和人的战争),必须先行拓展系统边界(宇航), 这些是由耗散结构的系统演化规律决定的, 不能以人的意志为转移. 不久前我也写过一篇文章, 大脑是如何工作的, 兼谈如何做出类人智能” 着重谈了谈思路. 整篇文章里最弱的地方是对记忆的解释. 当时想的也不是太清楚. 最近看了看有关知识表示相关的最新进展, 对睡眠的一些研究, 还有Jian提到的on intelligience, 觉得有必要再写一篇, 整理一下思路.
开宗名义, 飞机和鸟都会飞只是利用了同样的空气动力原理, 具体工作方式完全不同. 类比AI和人脑也一样.
前面一篇文章已经说过,目前最火热的深度神经网络是解决外界环境到内部表示的映射问题, 而且是头痛医头, 脚痛医脚, 只能是解决单一问题的工具, 一个子系统,最多是本我, 离强AI差很远, 而做出强AI的关键是通过知识表示把各个子系统连接起来, 其中的核心是记忆的机制. 有了记忆, 就有了自我. 下一步是解决多个AI之间的关系, 竞争合作, 是超我.
我的个人观点, 第一步, 学习各种映射,建立听觉,视觉, 五感运动等相关的子系统,这一步最难.这些功能大部分都是基因里自带的, 自然演化了数十亿年, 要靠人工赶上数十亿年的自然选择,当然难! 到了记忆自我意识,这些大脑皮层的功能, 大约只演化了数百万年, 学起来就容易很多. 而看似高级的一些东西, 比如艺术,文化,政治大约只有几千不到一万年的演化历史, 学起来就非常容易, 只要让有自我意识的AI自己玩,很短的时间就能玩出来. 而且AI玩出的东西无法预期, 也许是人不能理解的. 整个过程会越来越快, 并不那么遥远. 最近有报道说霍金,比尔盖茨反对AI的发展, 不知道霍金,比尔具体是怎么想, 但是我认为他们的担心是有道理的.
on intelligience 这本书主要就在谈记忆, 书中的观点, 大脑皮层的高级功能其实是通用的, 同样一块大脑皮层,既可以用来做视觉, 也可以用来做听觉. 这启发了大家思考是不是可以用一些比较简单的连接机制就能模拟. 书的作者为此建立了研究机构尝试了很多年, 受成书年代的时代局限, 书中建议的是一个7层的网络, 计算能力约束了想象力, 他们也不能做出什么东西, 然而相关想法是个很好的启示.
那么什么是记忆, 核心有两条,一是如何表示概念(系统的内部状态)以及概念的连接(知识,或者说是记忆), 一是如何有效学习获取知识(记忆).
对于知识表示方式, 长期以来一直有两派争执, 知识到底是确定性的还是不确定性. 不喜欢随机的人认为知识是确定性的, 而为了解决现实中大部分概念都没有清晰边界的问题, 他们搞出模糊逻辑等一套东西. 另外一派则认为自然的本质是随机的, 因此知识是对概率分布的表示, 推理只是对分布做采样. 这样往往会得到各种不确定的结果. 如果是在研究怎么做出工具, 当然确定性的东西大家更喜欢. 如果讨论模仿人, 那么引入随机性就是必然的.
最近搞知识表示的人终于扔掉了RDF, 三元组, 他们发现把实体和关系嵌入到一个子空间, 整体不光更有效率,而且效果也好. 这样终于往正确的方向迈出了一大步, 这两年在基础子空间表示方法上各种更新改进层出不穷, 效果也越来越好, 但是他们还是在搞确定的, 没有引入随机性. 需要再往前走一步.
至于知识如何学习, 简单的说, 任何模型在贝叶斯的框架下都可以学习, 关键是学习算法的效率是不是够高, 是不是能用当前的计算设备支持. 为此类比人的学习方式就很有意思, 人要学一个技能, 需要反复练习, 从一开始的主观意识, 练习再练习, 反复重复,最后变成潜意识, 就算学会了.
那么什么是潜意识? 人类学习经过总结最有效的方式就是刻意学习, 一万小时定律, 刻意学习其实就是在边界条件上学习, 要求太高学不会, 简单重复没意思, 比当前已经学会的稍难一点刚刚好, 会深度学习调参的人看到这里应当会心一笑. 你们别笑, 潜意识是结构学习, 主观学习是调参, 练习成为潜意识是学结构, 正确的结构一形成, 运算的效率就很高, 不再需要主观意识(监督指导信号)的干预, 技能就习得了.
另外一个跟学习过程紧密关联的事情是睡觉. 人为什么需要睡觉, 有各种解释, 也有各种相关研究. 最近的研究表明, 所有的高级生物都要睡觉, 甚至无脊椎动物也需要短时间睡觉. 有一种说法是说器官需要休息. 这个虽然正确但是没抓住重点, 需要休息的不是器官是脑. 脑为什么需要休息, 因为神经网络需要训练. 成批训练. 这不是空穴来风, 如果一个人长期睡不好, 典型症状就是记忆力下降, 学习能力下降, 各种东西看过就忘, 用的时候也想不起来. 同意上述说法就很容易解释这个现象, 因为没有训练好,所以没学会啊!
以上讨论记忆,知识表示和学习, 都是形而上的猜测, 也并不能推导出具体的算法或者计算模型. 但是我仍然觉得没有不可解决的障碍, 不同意作者观点的欢迎留言讨论.
从具体做事情的角度出发. 最最关键的还是效率, 包括计算的效率, 存储的效率, 计算和存储之间的通道效率. 尤其是存储, 做深度神经网络硬件实现的人已经意识到了, 把存储单元嵌入到计算单元中去, 整体的计算效率会更高. 现在的GPU甚至一些专门的神经网络硬件实现, 计算起来的瓶颈都在内存, DDR内存的带宽影响整个数据流的效率.
设计计算硬件需要考虑的核心问题是结合硬件实现和成本约束确定计算和存储单元的粒度以及架构方式. 目前存储仍然是分层结构的, 廉价大容量访问速度就慢, 访问速度越快,容量越小,成本越高. 这一是对计算很大的制约, 二是增加了架构设计的复杂程度. 因此除了摩尔定律以外, 新形态存储方式的进步, 将影响或者制约AI的进展, 直至所谓强AI, 奇点到来的时间.
回到本文的标题, 智胜先师来源于二十年前台湾一款游戏的名字, 游戏用这个名字也许是取了智胜和至圣的谐音. 先师孔圣人也被游戏当作封面. 这个游戏就是个做智力题的游戏, 没什么趣味. 但是标题含义深远, 人类学生都是可以胜过老师的, 一代更比一代强, 将来AI超过人类也是很自然会发生的啊!