说到黑匣子，许多人会联想到飞机上用于记录飞行数据的设备或充满怀旧气息的小剧场。然而，在人工智能（AI）领域，黑匣子同样是个不可忽视的重要术语。

西班牙《国家报》指出，当AI神经网络运行时，即便是最资深的研究人员也对其内部运作一无所知。这里讨论的无关生物学，而是AI算法，特别是那些基于深度学习、模仿神经元之间连接的算法。这些系统宛如黑匣子，数据科学家、学术界顶尖人才，以及荣获诺贝尔奖的OpenAI和谷歌的工程师们，也难以窥探其内部奥秘。

模型与数据具有不透明性

《科学美国人》杂志报道称，AI黑匣子指的是内部运作方式对用户完全不可见的AI系统。用户可以向这些系统输入信息并获得输出，但无法检查其代码或了解产生输出的逻辑。

机器学习作为AI的主要分支，是ChatGPT等生成式AI系统的基石。机器学习包含算法、训练数据和模型3个核心部分。算法是一系列程序指令，在机器学习中，算法通过大量训练数据，学会识别数据中的模式。当机器学习算法完成训练，其产物便是机器学习模型，这也是用户实际使用的部分。

机器学习系统这3个部分中，任何一个都可能被隐藏起来，即被置于黑匣子中。通常情况下，算法是公开的。但为了保护知识产权，AI软件开发者通常会将模型或训练数据放进黑匣子。

模型架构复杂到难以解释

尽管许多AI算法背后的数学原理已被人们充分理解，但由这些算法构成的网络所产生的行为，却难以捉摸。

ChatGPT、Gemini、Claude、Llama以及任何如DALL-E这样的图像生成器，以及任何依赖神经网络的系统，包括面部识别应用和内容推荐引擎，都面临这样的问题。

相比之下，其他AI算法，如决策树或线性回归（常用于医学和经济等领域），则更具可解释性。它们的决策过程易于理解和可视化。工程师可顺着决策树的分支，清晰地看到特定结果是如何得出的。

这种清晰性至关重要，因为它为AI注入了透明度，并向算法的使用者提供了安全保障。值得注意的是，欧盟《人工智能法案》强调了拥有透明且可解释系统的重要性。然而，神经网络本身的架构却阻碍了这种透明性。要理解这些算法的黑匣子问题，人们必须想象一个由相互连接的神经元或节点构成的网络。

西班牙国家研究委员会AI研究所教授胡安·安东尼奥解释道，当你把数据输入网络，节点中的值会触发一系列计算。信息从第一批节点开始传播，以数值形式传递到后续节点，每个节点都会计算一个数字，并将其发送到所有连接，同时考虑每个连接的权重（即数值）。接收到这些信息的新节点会再计算另一个数字。

值得注意的是，当前深度学习模型包含数千到数百万个参数。这些参数代表了训练后的节点和连接数量，数量庞大且变化多端，因此很难手动得出有意义的方程。

据业内人士估计，GPT-4拥有近1.8万亿个参数。根据这一分析，每个语言模型将使用约2200亿个参数。这意味着，每当提出一个问题时，就有2200亿个变量可能影响算法的回应。

科技公司尝试打开黑匣子

系统不透明性让纠正偏见变得更难，也加剧了不信任感。目前，AI领域的主要参与者意识到了这一局限性，并正在积极开展研究，以更好地了解其模型的工作原理。例如，OpenAI用神经网络观察分析另一神经网络，Anthropic研究节点连接和信息传播电路等。

解码黑匣子对语言模型大有裨益，能避免错误推理和AI产生误导信息，解决答案不一致问题。然而，由于不了解网络内部机制，科技公司通常会让模型进行大量训练，通过测试后即发布产品。这种方法也可能会存在问题，如谷歌Gemini在初发布时就生成了错误的图像。

与黑匣子相对的一个概念是玻璃盒。AI玻璃盒是指它的算法、训练数据和模型都可以被任何人看到。解码黑匣子的最终目标是保持对AI的控制，特别是将其部署在敏感领域时。假设一个机器学习模型已经对人类的健康状况或财务状况做出了诊断，人们会希望该模型是黑匣子还是玻璃盒呢？答案显而易见。这不仅是对算法内部工作原理的高度关注，也不仅是出于科学的好奇心，更有对用户隐私的保护。

来源：科技日报