意识可以度量吗?整合信息论读书会启动

图片


导语


为什么我们在清醒时有意识,而在无梦的睡眠中意识水平大大降低?为什么我们的意识由大脑的某些部分产生,而非其他部分?为什么大脑的特定部分与视觉和听觉等意识体验密切相关?这些具体的问题本质上涉及到,理解决定一个系统产生意识体验的条件,以及理解决定一个系统具有何种意识的条件。整合信息论(IIT)试图用几何学一般的公理体系来解释意识是什么,意识如何测量。根据该理论,意识对应于一个系统整合信息的能力。

为了深入探索意识奥秘,系统梳理整合信息论的理论体系,北京师范大学系统科学学院教授、集智俱乐部创始人张江领衔发起「整合信息论」读书会,组织对本话题感兴趣的朋友,深入研读相关文献,激发科研灵感。读书会分为以下几个部分:整合信息论综述,基础理论框架,近似计算方法,在神经科学中的应用,在复杂系统中的拓展应用,Φ与系统临界态,以及机器意识。2024年9月28日开始,每周六上午9:00-11:00进行,持续时间预计 10 周,欢迎感兴趣的朋友报名参与!

研究领域:意识理论,整合信息论,有效信息,复杂系统,临界性,机器意识
图片




读书会背景




意识是什么?我们能否模拟意识?人工智能大模型能否产生意识?意识如何度量?“意识的量化与建模”研究主题系列读书会将围绕着这一系列问题展开,作为开场,“整合信息论”是我们探讨的第一个意识理论。所谓的“整合信息论”(Integrated Information Theory,IIT)是由美国威斯康辛大学知名的理论神经科学家 Giulio Tononi 于2004年左右提出来的一套理论,该理论的核心是一个叫做 Φ 的指标,这一指标可以用来度量一个复杂系统的“意识度”是多少。

迄今为止,整合信息论已经经历了20多年的发展历程,意识度量指标 Φ 的定义也已经经历了4个版本的迭代,并衍生出一系列近似计算版本。就在前不久,人们还刚刚见证了整合信息理论与另一个知名意识理论——全局工作空间理论(Global workspace theory,GWT)之间的较量,最终结果表明整合信息论给出的结论得到了实验的验证。尽管这一较量的结果还存在很多争议,但是无可否认的是,现如今的整合信息论已经演变成意识研究的一个重要学派。有了意识的定量化度量指标,人们离破解意识之谜就已经更近了一步。

更有趣的是,整合信息指标Φ的定量刻画基础就是“有效信息”(Effective Information),它是对经典香农互信息指标的“因果”扩展。而有效信息又被 Erik Hoel 等人用来扩展研究复杂系统中的涌现现象。因此,整合信息论天然具有跨越不同学科的发展潜力,已经有不少人将 Φ 用来衡量诸如蚁群、秀丽隐杆线虫等复杂系统的意识度了。




读书会框架




此次读书会分成以下几个部分,分别为整合信息论的综述,基础理论框架,近似计算方法,在神经科学中的应用,在复杂系统中的拓展应用、Φ与系统临界态,以及机器意识。读书会发起人已经收集了这几个方向的大量文献。我们希望通过各个部分的文献阅读,能够对整合信息论有一个更加全面的了解,也期待更多感兴趣的研究者能够在这片方兴未艾的研究领域找到未来的科研方向。

图片





发起人团队



张江北京师范大学系统科学学院教授,集智俱乐部、集智学园创始人,集智科学研究中心理事长,曾任腾讯研究院、华为战略研究院等特聘顾问。主要研究领域包括因果涌现、复杂系统分析与建模、规模理论等。

贺敬,启元实验室研究员。博士毕业于北京大学,于清华大学完成博士研究。关注脑科学与人工智能交叉方向,以及脑疾病致病机理与干预策略研究。

吕奥博圣路易斯华盛顿大学(WUSTL)系统科学与数学系在读博士。研究方向为系统科学、信息论等。
田洋澳门城市大学助理教授。博士毕业于清华大学心理学系&脑与智能实验室。研究领域是统计物理和计算生物学,研究方向包括重整化群理论、复杂网络以及拓扑数据分析。
岳玉涛,香港科技大学(广州)人工智能学域和智能交通学域副教授。本科毕业于中国科学技术大学,硕士和博士毕业于美国普渡大学。有学术界和工业界的双重背景,创立了江苏省产业技术研究院深度感知技术研究所。研究兴趣包括多模态感知融合、机器意识、通用人工智能、因果涌现等。
章彦博美国亚利桑那州立大学复杂系统博士,本科毕业于中国科学技术大学凝聚态物理系,现在塔夫茨大学进行博士后研究,集智科学家,曾在瑞典卡罗琳斯卡医学院进行访问交流。研究方向:统计物理、复杂系统等。他的研究兴趣主要是试图理解我们这个世界的“特殊尺度”。为什么原子会存在?为什么分子会存在?为什么“事物”的概念是一个有用的概念?此外,他还致力于利用化学反应网络探索生命的起源。
袁冰,集智科学研究中心技术与产品顾问。研究兴趣包括因果推断、复杂科学,以及人工智能相关领域。
王志鹏,北京师范大学在读博士。研究兴趣包括复杂系统多尺度建模、因果涌现以及图上的组合优化等。




报名参与读书会




运行模式

从2024年9月28日开始,周六上午9:00-11:00,持续时间预计 10 周左右
按读书会框架设计,每周进行线上会议,与主讲人等社区成员当面交流,会后可以获得视频回放持续学习。


报名方式

第一步:扫码填写报名信息。

第二步:填写信息后,付费报名。

第三步:添加运营负责人微信,获取所有推荐论文资源包,拉入对应主题的读书会社区(微信群)。


PS:为确保专业性和讨论的聚焦,本读书会谢绝脱离读书会主题和复杂科学问题本身的空泛的哲学和思辨式讨论;如果出现讨论内容不符合要求、经提醒无效者,会被移除群聊并对未参与部分退费。


针对学生的退费机制

读书会通过共学共研的机制,围绕前沿主题进行内容梳理和沉淀,所以针对于学生,可以通过参与共创任务,获取积分,积分达到退费标准之后,可以直接退费。


加入社区后可以获得的资源

完整权限,包括线上问答、录播回看、资料共享、社群交流、信息同步、共创任务获取积分等

图片


参与共创任务获取积分,共建学术社区

读书会采用共学共研机制,成员通过内容共创获积分(字幕修改、读书会笔记、论文速递、公众号文章、集智百科、论文解读等共创任务),积分符合条件即可退费。发起人和主讲人同样遵循此机制,无额外金钱激励。

PS:具体参与方式可以加入读书会后查看对应的共创任务列表,领取任务,与运营负责人沟通详情,上述规则的最终解释权归集智俱乐部所有。





阅读文献



 

  1. 综述文章

这部分是发起人团队收集的有关整合信息论的综述文章,这些文章有的强调神经科学基础,有的强调整合信息Φ的计算方法,有的则对已有整合信息论研究文献进行了详尽的统计工作。阅读这部分文献可以让我们快速站在较高的山顶处俯瞰整合信息理论的全局。

推荐人:张江


[1] Zihan Ding, Xiaoxi Wei, Yidan Xu: Survey of Consciousness Theory from Computational Perspective - At the Dawn of Artificial General Intelligence, arXiv:2309.10063v1.

研究者从不同角度和层面发展了多种理论来解释人脑中的意识现象。这篇论文是对定量意识理论的一篇综述,梳理了源自不同学科的几个主要意识理论分支,其中对IIT理论的介绍非常清楚。文章也讨论了大语言模型是否具备意识的问题。

意识体验与物质大脑过程如何相互关联?这篇意识理论的最新综述讨论了5种突出的、看似矛盾的意识理论(全局神经工作空间理论、整合信息论、循环加工理论、预测加工与神经表征主义、树突整合理论),以及如何将它们调和起来。

这是一篇比较全面的IIT理论的综述,建立在充分调研相关论文基础上,进行了统计分析。其中的亮点是有几个列表,列出了IIT的近似计算方法等。


[4] Giulio Tononi, Melanie Boly, Marcello Massimini and Christof Koch. Integrated information theory: from consciousness to its physical substrate. Nature Reviews Neuroscience 17.7 (2016): 450-461.

比较早的综述文章,综述了IIT理论的基本原理和实验进展,重点既包括IIT理论,又有“意识的物质基质”。

与上一篇构成姊妹篇,仍然是关于“意识的神经相关物”(neuronal correlates of consciousness,NCC)。这篇综述表明意识的解剖学神经相关物主要位于一个包括感觉区域在内的后部皮层热点区域,而不是局限于参与任务监控和报告的额顶网络。


[6] Elamrani, Aïda, and Roman V. Yampolskiy. Reviewing tests for machine consciousness. Journal of Consciousness Studies 26.5-6 (2019): 35-64.

是否存在一种科学方法可以测试机器的意识?本综述介绍了测量机器意识的几种方法。

 
图片

整合信息论(IIT)的核心主张是,意识与物理系统的因果结构是相同的,规定了不可化约的整合信息的最大值。意识的内容与因果结构的形式有关,而意识的水平则与因果结构的不可化约性有关,可用数字Φ来衡量。


  1. IIT 基础理论论文

此部分列举了整合信息论发展的几个版本,我们可以看到一个理论日臻完善的发展过程。


[1] Tononi, Giulio, and Olaf Sporns. Measuring information integration. BMC neuroscience 4 (2003): 1-20.

该论文最早提出了有效信息。

可能是最早提出整合信息论(IIT)的论文,或许可以看做是IIT1.0版本。


[3] Giulio Tononi. Consciousness as integrated information: a provisional manifesto. The Biological Bulletin 215.3 (2008): 216-242.

早期的整合信息论(IIT)论文,或许可以看做是IIT2.0版本


[4] Masafumi Oizumi, Larissa Albantakis, Giulio Tononi. From the Phenomenology to the Mechanisms of Consciousness: Integrated Information Theory 3.0. PLOS Computational Biology, May 2014 | Volume 10 | Issue 5 | e1003588

IIT 3.0论文


[5] Larissa Albantakis, Leonardo Barbosa, Graham Findlay, Matteo Grasso, Andrew M. Haun, William Marshall, William G. P. Mayner, Alireza Zaeemzadeh, Melanie Boly, Bjørn E. Juel, Shuntaro Sasai, Keiko Fujii, Isaac David, Jeremiah Hendren, Jonathan P. Lang, Giulio Tononi. Integrated information theory (IIT) 4.0: formulating the properties of phenomenal existence in physical terms. PLoS computational biology 19.10 (2023): e1011465.

IIT 4.0论文


[6] Mallatt, Jon. A traditional scientific perspective on the integrated information theory of consciousness. Entropy 23.6 (2021): 650.

这篇文章比较了整合信息论(IIT)和神经生物自然主义(Neurobiological Naturalism)这两种意识理论。神经生物自然主义认为意识是是由大脑的神经生物学过程产生,是复杂大脑的演化涌现特征。


[7] Hunt, Tam. Calculating the boundaries of consciousness in general resonance theory. Journal of Consciousness Studies 27.11-12 (2020): 55-80.

我们可以将整合信息论与意识的共振理论进行比较。Hunt 和 Schooler 提出意识的一般共振理论(General Resonance Theory, GRT),认为意识是不同物理尺度上各种共享的共振频率的产物。本文提出了一种启发式方法,用于计算这种共振结构中现象意识的边界及其结果能力。共享共振导致信息交换的速度和带宽发生相变,从而产生更丰富、更复杂的意识。该方法可以解决意识到“组合问题”和“边界问题”。


图片


  1. 近似计算Φ或替代方法

原始的Φ定义牵涉到遍历对已知系统的所有可能划分,这显然会出现指数爆炸的问题。于是,人们不得不发明各种手段来近似地计算Φ,本模块的论文列举了各种近似计算Φ的论文。

推荐人:张江,吕奥博


[1] Barrett, Adam B., and Anil K. Seth. Practical measures of integrated information for time-series data. PLoS computational biology 7.1 (2011): e1001052.

第一篇提出用高斯分布简化IIT的论文,并指出用Total correlation可以替代Φ。整合信息指标ΦDM量化系统整体产生的信息大于部分之和,有可能用于测量神经系统的意识水平。然而这个指标只适用于离散马尔可夫系统,本文提出ΦAR和ΦE两个指标,更容易应用到实际的时序数据。


[2] Masafumi Oizumi, Shun-ichi Amari, Toru Yanagawa, Naotaka Fujii, Naotsugu Tsuchiya. Measuring integrated information from the decoding perspective. PLoS computational biology 12.1 (2016): e1004654.

本文提出用于度量整合信息的实用指标 Φ*,用高斯分布近似计算,并进行实证研究。这个指标可用于意识研究中的整合信息测量,并作为生物领域的网络分析工具。


[3] Anil K. Seth, Adam B. Barrett and Lionel Barnett. Causal density and integrated information as measures of conscious level. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences 369.1952 (2011): 3748-3767.

本文比较了两种度量:因果密度(causal density)与整合信息(integrated information),并给出近似计算法。这些指标以不同方式捕捉系统动力学分化和整合的程度。


[4] Sevenius Nilsen, André, Bjørn Erik Juel, and William Marshall. Evaluating approximations and heuristic measures of integrated information. Entropy 21.5 (2019): 525.

目前只有对非常小的模型系统才有可能计算Φ,通常与大脑意识相关的系统还远未达到可计算的程度。本文比较全面地提出了几种启发式度量和计算近似方法,可以用于大系统中的近似IIT计算。

这项研究中使用的工具包:Python ‘‘Pyphi toolbox’’— Matlab ‘‘Practical PHI toolbox ’’


[5] Satohiro Tajima, and Ryota Kanai. Integrated information and dimensionality in continuous attractor dynamics. Neuroscience of consciousness 2017.1 (2017): nix011.

这篇论文提出一种用“延迟嵌入”(delayed embedding)技术来近似计算整合信息的方法。


[6] Kitazono, J., and M. Oizumi. Practical PHI toolbox for integrated information analysis (Version 1.0). (2018). 

Matlab 代码工具箱用于整合信息理论(IIT)的近似计算。


[7] Krohn, S., Ostwald, D. (2017). Computing integrated information. Neuroscience of consciousness, 3(1): 1-16.

Matlab 工具箱


[8] Tozzi, Arturo. The multidimensional brain. Physics of Life Reviews 31 (2019): 86-103.


以下几篇论文从信息几何视角计算整合信息,该方法比现有所有 Φ 的计算方法都要接近 ground truth。

[9] Ay, N. (2015). Information geometry on complexity and stochastic interaction. Entropy, 17(4), 2432-2458.

[10] Ay, N. (2002). An information-geometric approach to a theory of pragmatic structuring. The Annals of Probability, 30(1), 416-436.

[11] Amari, S. I., Tsuchiya, N., & Oizumi, M. (2018). Geometry of information integration. In Information Geometry and Its Applications: On the Occasion of Shun-ichi Amari's 80th Birthday, IGAIA IV Liblice, Czech Republic, June 2016 (pp. 3-17). Springer International Publishing.

[12] Oizumi, M., Tsuchiya, N., & Amari, S. I. (2016). Unified framework for information integration based on information geometry. Proceedings of the National Academy of Sciences, 113(51), 14817-14822.


图片


  1. 在神经科学中的实验验证

本模块主要介绍整合信息论与神经科学的关系。作为一种定量刻画意识的理论,整合信息论不仅可以帮助人们回答一个复杂的神经系统的意识度量值是多少,还能够回答意识发生于何处。

推荐人:贺敬,张江


文献 [1-7] 是关于 Cogitate 项目及相关讨论。Cogitate 是一个创新的开放科学项目,致力于促进整合信息理论(IIT)和全局神经元工作空间理论(GNW)这两种意识理论之间的对抗性合作。

Collaboration Project On GNW and IIT: Testing Alternative Theories of Experience

Cogitate 项目网站


[2] Melloni, L., Mudrik, L., Pitts, M., & Koch, C. (2021). Making the hard problem of consciousness easier. Science, 372(6545), 911-912.

这篇 Science 观点文章简要介绍了 Cogitate 项目。