一、道德伦理
人类有一种元动力，希望泾渭分明的划出一条线，把自己与其他物种区分开。借由“虎毒不食子”这种亲疏远近，我们通过对不同物种性质的划分，确立了伦理级差，进而张开道德的框架。
彼得辛格的伦理圈扩展理论认为，道德边界是个不断扩大的过程。从部落、种族、国家到全人类。现在正扩展到感知动物。越来越多的科学证据表明，动物的智能远比我们过去想象的高得多。如果还是要吃肉杀生，怎样的行为是合乎道德规范的呢？
（参考：《纽约动物意识宣言》｜经典译文）
未来的AI或者哪一种AI应被纳入这个圈？人类是否有权去划分能入圈的AI种类？是否有权关闭一个正在喊疼的AI的电源？
这些延展性的思考隐藏着致命的阿喀琉斯之踵，如果不再能分开你我，人类道德体系的基石可能骤然崩塌。或者那时就只能遵守自然界的弱肉强食基本法则了。
二、三类AI智能
起初，我们认为用火和工具是人类独有的。后来我们认为记忆、语言是人类独有的。
近一百年来关于生物学、心理学、演化、认知的研究，愈是深入，人类的独特性就越是往后退。但我们还是希望辨别出人类有什么独有的特质。
以现在的视角。我们认为AI具有三类智能。第一类是符号主义的，有逻辑无经验，基于数学规则推导结果，代表是“深蓝”或道格莱纳的Cyc项目；第二类是连接主义的，有经验无逻辑，通过既有语料（包括富媒体），得出概率性的结果，代表是大语言模型；第三类是具身智能的，通过与真实世界交互，进行更广泛的学习。
（注：赫伯特西蒙的物理符号系统假设认为智能就是符号处理，只要逻辑规则足够细，机器就能思考。）
辛顿认为，拥有数万亿参数的大模型，可能已经产生一种“非生物的直觉”，概率复杂到一定程度，量变会引起质变。
对于辛顿的警示危言，我个人十分敬佩，并认为需要高度关注。但从工程视角跳出到人文视角，辛顿的说法可能忽略了一个简单的逻辑推理-主体性缺失。所以我认为第三类AI也不具备意识。
三、悬置的主体性
第三类AI，仍然悬置了主体性。
由此产生的第一个问题是关于因果的。康德指出，因果不在客观世界本身的范畴。“闪电”之后有“雷鸣”，是人类认知结构强加于经验之上的规律。
概率和因果不能混为一谈，只有当主体介入，在“可做可不做”的自由中选择重复实验，并观测到稳定结果时，概率才能坍缩为因果。朱迪亚珀尔将此解释为因果阶梯，认为现在的AI（连接主义和深度学习）只停留在概率观察，并未有干预，更没有基于自由意志的“想象如果会怎样”的反事实。
为什么因果性重要呢？因为概率只能呈现现象的关联强度，但无法解释为什么会关联。只有主体介入构建因果假设，才能搭起可证伪的科学框架，才有了解释和预测的基础，才具有不断推翻革新、迭代的可能性。
第二个问题是关于符号指向的。符号对经验世界的指向，是主体的行为。弗雷格区分了“指称”与“涵义”。后来，香农在创立信息论时，为了工程实现明确剔除了“语义”，只关注“不确定性”。这导致AI处理的依然只是符号的排列组合（a=a），但它不知道 a是什么。正如史蒂芬哈纳德提出的“符号落地”问题。如果AI只是用一套符号解释另一套符号，而没有能力在经验世界锚定符号，它就永远被困在字典的循环里，不懂得“意义”。
四、意识根源
在人类独特性后退的过程中，人们逐渐筛掉了意识不是什么。
我认为，人类意识的关键，就在于那些无法用语言、逻辑描绘的迷雾。
婴儿在几个月大，还没有掌握语言的时候，已经有了意识。 数学家在直觉上看到命题成立后，往往要花很长时间，甚至几年几十年，才能用精确的语言描述出来。
（注：彭罗斯在《皇帝新脑》中论证，人类数学家的“直觉洞察”是任何图灵机（算法）都无法模拟的。这种“懂了”的瞬间，可能涉及量子层面的物理过程，而非计算过程。
但实际上，在后来的神经科学研究成果中，发现人脑的环境无法维持量子相干性，意识不在量子过程中。）
“知道”、“理解”与“我懂了”，是高于语言、逻辑的。是在主体带入之后的一种自洽感受。
（参考：当人们说“我知道了”代表什么？及《维特根斯坦传：天才之为责任》的摘要）
人类的意识不在语言与逻辑之中。 在人类运用语言的过程中，既得到了从个体向社会群体袒露与索取信息的工具，也得到了限制自由意志的枷锁。
（注：迈克尔波兰尼的“默会知识”认为，“我们知道的，比我们能说出来的多。” 维特根斯坦后期认为语言不是世界的逻辑图像，而是一种“游戏”。语言有其无法触达的边界。
）
从这个角度，你要想理解一段历史，就需要把自己带入进去。了解媒介中每个符号在历史中指向的经验事实，最终获得一种自洽感。而这个过程，如果把主体悬置，只看符号之间的概率性联系是得不到任何意义的。这也是为什么考古学不能替代历史研究的原因。
（参考：随笔｜扎哈建筑、大历史观与隐喻的艺术）
悬置主体性的机械推算，充其量只能为游走在迷雾中的人提供一些启发。是否采信，还是需要人的主体介入。在迷雾中，不安、惊奇和知道之前的停顿，是主要的意识行为。
回到主题，人类的意识到底是什么？
斗胆在这里给出个我的理解。意识就是知道自己不知道。
（注：苏格拉底曾有句名言“我唯一知道的是我一无所知”，在此有异曲同工之妙。AI的出现，让我们更容易看到“迷雾”的边界，也重新理解先贤对人类最高智慧的定义。）
五、AI的演化
AI有“不知道”的区域吗？
没有。
任何一个反馈结果，都会在内存中对应一个状态快照。逻辑上讲，1.数据量大而难于理解和无法确认是两回事。2.校验后发现缺失了一段数据，属于已知的未知，是逻辑上的已知。相较之下，人类的不知道，是未知的未知。
当下的AI，是在迷雾散尽的世界中，高效处理语言和逻辑的机器，他们还没能触及迷雾。
向未来看，AI在真实物理空间中演化的过程，是否能产生类似于DNA变异的机制，主动丢掉一部分确定性，是关键。
或许，AI重新走一遍演化的路。在时间长河中，以生存为第一要义，不断自我复制，或许能够掌握进入迷雾的能力。但对此，我持有深深的疑虑。
六、人类的后退与驻足
但这对人来说，意味着什么呢？
查尔默斯区分了“简单问题”和“困难问题”。AI 在不断解决“简单问题”，逼迫我们承认那些曾经以为神圣的（计算、逻辑、语言）其实都是“简单问题”。
我们在独特性退后的过程中，即使只将人类优越特点拱手相让给前面提及的三类AI，就已经需要适应AI替代体力劳动、AI替代脑力劳动，习惯意识与智能可以分离这些重大事项。
再往后退，创造具有意识的AI是否是人类的存在意义？如果是的话，是创造完全脱离于人类的意识体，还是可与人融合的意识体？
这些讨论，往后退了两步。从本文对意识的定义，我们也可驻足当下，重新审视现有的物种。
动物有意识吗？植物有意识吗？实际上，人类并没有可能知道其他物种是否知道自己不知道。我们也不可以用人类标准的图灵测试，在检查动物不符合标准后，就说它们没有意识。我们发明的一切测量工具，在给出测量结果的同时，也把意识之源所在的迷雾驱散了，只留下一具具冰冷的数据标本。
七、位置
AI会对人类社会造成极大的冲击。并不是简单的消灭了人类的工作，或者像终结者一样消灭人类的肉体。略带悲壮色彩的AI之路，逼迫我们站在镜子前，看到人类的立足地，退缩在不可计算、不可描述、不可测量的迷雾中。
人类在世界中的位置，始终还是需要面对的问题。这决定了人类存在的意义，和一切社会秩序的根基。
