研究:用Łukasiewicz多值逻辑公理完整刻画深层ReLU网络函数等价性

arXiv预印本提出一套三步框架,将ReLU网络识别转化为多值逻辑公式推导,证明两个非退化ReLU网络在单位立方体上实现同一函数当且仅当可由MV逻辑公理相互转换。

苏黎世联邦理工学院的Yani Zhang和Helmut Bölcskei在arXiv预印本(编号2602.00266v2)中提出,深层ReLU网络的函数等价性问题可通过Łukasiewicz多值逻辑(MV逻辑)公理完整刻画。

论文证明,两个非退化的ReLU网络在单位立方体上实现同一函数,当且仅当一个网络能通过有限次应用MV逻辑公理由另一个得到:整数权重和偏置对应MV公理,有理数对应可除MV公理,实数对应Riesz MV公理。

方法与框架

研究参照香农用布尔代数公理将电路综合转化为公式操作的做法,把ReLU网络识别转化为用MV逻辑公理推导Łukasiewicz公式。作者称,MV逻辑公理可以刻画ReLU网络所有对称性——包括单层网络(对tanh网络这是唯一的对称类型)以及三层或以上的深层网络。

框架由三步组成:提取算法把网络转换为带层结构的替换图,图中每个节点承载输入层变量的公式,该公式以网络的输入-输出映射为真值函数;完备性定理保证函数等价的公式可以互推;构造算法再把替换图还原为网络。替换图对网络的编码是唯一的,并引出MV逻辑的一种新范式,与文献中常见的扁平范式不同,它是组合式的,保留网络的代数结构。

论文称,每次推导由三种局部操作实现:节点重写、层折叠和层扩展。

信息来源