最近公号发文主要就是读哲学书, 阅读量稳定在100左右,大概是其它类别文章的几分之一。 哲学就是这么让人兴致寥寥。不过通过这一阶段的读书, 特别是读哲学书的思辨过程, 个人感觉对智能的理解更深入了。本号曾经写过理解宇宙,生命,智能是三大终极问题 ,思考自己思考的过程大概也是研究智能是什么的路径之一。 今天就顺便漫谈一下个人当前对智能的理解。
话头起自清华鲁白教授,商汤徐立和著名投资人牛奎光的一个闭门会。他们的谈话记录叫科研范式正在变革。微信公众号不好贴外部链接,有这些关键字很容易搜索。 建议大家先去看看。
鲁白教授是认知神经科学研究的大家, 他对大脑功能的探索有很多真知灼见。以下直接贴原话:
脑科学研究基本可分为五大领域,分别是感知、运动、记忆、情绪以及认知。截止目前,感知、运动大多数已被科学家研究清楚,发展比较成熟;记忆是过去二十年里神经科学进展最快的领域之一,关于记忆的机制已经研究得相当深入;情感和情绪是计算机所不具备的,其神经环路、神经递质、分子、基因等都已研究得比较透彻;认知,是人类最想知道但进展并不显著的领域。“从认知可以上升到意识,但需要以一些低级的认知过程作为研究的开始
鲁教授的分类相当清晰, 我就借鸡下蛋,表述一下自己的观点:
- 感知,运动基本已经搞定。基本同意, 因为深度学习和现代控制理论下,AI和机器人的感知和运动能力已经大幅提高,至少在单一功能层面不弱于人。 物体语音识别就不用说了,大家还经常看到波士顿动力的各种机器人学人跳舞。
- 记忆是进展最快的领域,研究的已经相当深入。同意一半, 本号在上一轮思考智能的过程中,特别关注记忆这个环节,再谈记忆之墒和能量-人是什么系列外篇, 从表示到分布-有关深度学习记忆和效率的思考,记忆,又见记忆。总是回忆。这几篇文章都提到了,记忆本身是个计算过程。 不管是存储还是加载(回忆)都是一个计算过程。 其实现代存储设备SSD的存储和加载也是一个计算过程。这个我们下面还要说。因为是计算过程,所以鲁教授有点乐观了,搞清楚那么多机制,也没有用,你看到的只是硬件,看不到配合的软件算法。所以其实只搞了一半。
- 情感和情绪是计算机所不具备的,其神经环路、神经递质、分子、基因等都已研究得比较透彻。这段就值得商榷, 计算机不是不能具备情感,而是需不需要具备情感。情感是一种生物的生存机制, 计算机有了情感以后,我们怎么对待它,有很多伦理学的问题。同样情感也是计算, 还是有硬件搞清楚了也不代表软件就弄清楚了的问题。
- 从认知可以上升到意识,但需要以一些低级的认知过程作为研究的开始。这段话就不能同意了, 这还是还原论的观点, 意识来源于复杂系统,研究低级认知过程是爬树,研究意识好比登月,靠爬树方法登不了月,这中间有复杂系统的属性作为不可跨域的地月天堑。
至于鲁教授后面谈到的科学范式, 对不起,完全不能同意,科学范式不需要迁移。 假设检验的路径和基于输入输出计算的路径会同时存在。前者大概是几何原本,后者是九章算术,谁也不能取代谁。 两者辩证统一,互相促进,才是道。
回到前面记忆的话题。我们可能受到计算机早期存储器的影响太深了, 那个时代的存储就是用物理机制去存0,1,不管是用磁性,还是机械编码,还是电子势阱, 0就是0,1就是1。然而很快人们发现,这样不行, 存的多了,要出错, 为了预防出错,需要增加判断出错的机制,也就是校验,最好还能纠错。 于是在存0和1的同时, 还存了校验码比如奇偶位,还有简单纠错码比如CRC。
随着存储数据量越来越大,可靠性越来越降低。简单的纠错码不够了, 信息论搞出来了越来越复杂的纠错码,从BCH到LDPC。对了,你的硬盘里其实都用到了这些编码机制。到了SSD时代,错误率更高, 我们需要更加复杂和难以设计的。。。LDPC。 一个题外话,5G通讯也要纠错, 所以你看5G的时候经常会看到LDPC。
本人因为搞过SSD, 曾经被逼着学了一下LDPC,痛苦的补习了近世代数和和LinShu老师的大书。勉强懂得一些基础的道理,但是缺乏实践技能。 去从零开始设计一个LDPC长码方案,尤其是SSD用到的长码LDPC设计(比通讯的短码难几个数量级), 据说全世界真正会搞的人不超过二十个,国内是一个都没有(西电和北航的哪位老师如果搞出来了,请原谅我没有跟踪最新进展)。
扯这么多, 是想说记忆或者存储,其实也是一个计算过程。 真正在大脑皮层或者硬盘上记录的,并不是原始数据, 而是经过编码的数据, 回忆或者提取数据是解码计算。 这个编解码的过程,要同时保证错误率低, 压缩率高。 这两件事本身就矛盾,必须做某种权衡。在我看来,大脑相比计算机选择了更高的压缩率, 毕竟大脑的能耗只有几十瓦,有物理资源上限,而计算机没这个限制。当然代价就是大脑的计算非常的不准, 需要各种有效纠错方法。
以上实际上是用信息论的观点在解释记忆, 在信息论看来,一切都是信息的处理, 涉及到信息的表示,和传输方法。 核心环节, 就是通过理解数据的生成机制,来尽可能的压缩信息。
信息论的观点可以同样应用到深度学习上, 神经网络实际上也是在压缩信息, 压缩过程中抽取了特征, 再通过分类选择, 就自带泛化能力。 如果看过朱老师的云上打洞理论,大体可以知道, 我们实际上是通过提取特征(山洞),来观察世界。 大量数据形成了每个山洞的分布, 可以是参数化的,也可以是非参数化的。 有了分布,就可以通过贝叶斯公式来学习(不需要反向传播), 而在每个时刻,都可以根据分布做出分类判断。 最近马毅老师有一篇被拒稿的长文, 马老师愤愤不平, 其实从逻辑思路上,跟这个也差不多。
回到我们一直在读的哲学书, 现代哲学发现, 理解人要从语言和符号出发,比如卡西尔的符号形式的哲学。 大家都意识到了, 智能或者意识如果是计算过程的话,那么符号或者语言,也就是信息的表示方式可能是破解奥秘的关键路径之一。其实科学背后所依托的数学,也就是所谓自然的结构, 也可以从信息压缩的观点去理解, 这里就不展开了。
最后简单说说意识是什么,本号其实已经说了很多了, 现在意识理论有两大派, 一派是IIT,整合信息理论, 一派是GWT, 全局工作信息理论。前者认为是各个子功能的整合, 后者试图从工作记忆区的机制去理解。 个人看来,其实是观察大象的不同角度而已。大象比这两派说的都大,而且大很多。以后有机会读读这两派的经典,再详细说。
以上都是个人观点,未必正确, 欢迎反驳。 下次我们讨论乔姆斯基的句法结构。