将扩散模子量化到 1 比特极限国产情色，又有新 SOTA 了！

来自北航、ETH 等机构的询查东谈主员淡薄了一种名为BiDM的新步调，初度将扩散模子（DMs）的权重和激活弥漫二值化。

具体而言，作家们从时刻和空间的角度对扩散模子进行了优化：

从时刻角度来看，引入了"时刻步友好二值结构"（TBS），通过可学习的激活二值化器和跨时刻步特征贯穿来交代 DMs 高度时刻步斟酌的激活特征。

从空间角度来看，淡薄了"空间分块蒸馏"（SPD），方针是惩处二值化特征匹配的贫瘠，极度暖热图像生成任务和噪声测度收集的空间局部性。

实验收场泄漏，W1A1 BiDM 在 LSUN-Bedrooms 256 × 256 上的 LDM-4 模子上取得了 22.74 的 FID 分数，远远超越了刻下景象的启程点进通用二值化步调的 59.44 分，并完结了高达28 倍的存储从简和52.7 倍的操作服从熏陶。

底下具体来看。

现存扩散模子 1 位量化主要集结在「权重」

当今为止，扩散模子由于其高质料和种种化的生成才略，在图像、语音和视频等多个范围引起了极大的暖热和应用。它不错通过多达 1000 步的去噪法子，从立地噪声生成数据。

不外，自然一些加快采样步调野蛮灵验减少生成任务所需的法子数目，但每个时刻步的崇高浮点算计仍然限制了该模子在资源受限场景中的平素应用。

因此，对扩散模子的压缩成为其更平素应用的症结法子，现存的压缩步调主要包括量化、蒸馏、剪枝等。这些压缩步调的方针是在保执准确性的同期减少存储和算计资本。

其中，量化被以为是一种特等灵验的模子压缩本事，通过将权重和 / 或激活量化为低位整数或二值化，完结紧凑存储和推理中的高效算计。

是以，已有一些询查将量化应用于扩散模子，以在保执生成质料的同期完结模子的压缩和加快。

而 1 位量化，即二值化，野蛮最大适度地从简模子的存储空间，何况在卷积神经收集（CNN）等判别模子中发达精采。此外，当权重和激活同期量化为 1 位时，如弥漫二值化，使用雷同 XNOR 和 bitcount 的高效位运算不错替代矩阵乘法，达到最高效的加快成果。

一些现存的工作尝试将扩散模子量化为 1 位，但它们的探索主要集结在权重上，离弥漫二值化仍有较大距离。

实践上，关于扩散模子这么的生成模子，弥漫二值化权重和激活的影响是凄惨性的：

a ) 行为生成模子，扩散模子的丰富中间暗示与时刻步密切斟酌，而高度动态的激活范围在使用二值化权重和激活时受到严重限制；

b ) 像扩散模子这么的生成模子经常需要输出齐备的图像，但高度闹翻的参数和特征空间使得在测验历程中很难与的确值匹配。闹翻空间中的优化难度以及与时刻步动态斟酌的暗示才略不及，导致二值化扩散模子难以照应，甚而在优化历程中崩溃。

淡薄 BiDM：弥漫二值化「权重」和「激活」

面临上述不及，作家们淡薄了 BiDM。通过弥漫二值化权重和激活，将扩散模子推向极限的压缩和加快。

笼统而言，BiDM 方针是惩处扩散模子激活特征、模子结构以及生成任务的特有需求，克服弥漫二值化带来的挑战。

它包含两项革命本事：

从时刻角度启程，作家们不雅察到扩散模子的激活特征与时刻步高度斟酌。

因此引入了"时刻步友好二值结构"（TBS），通过可学习的激活二值量化器匹配扩散模子的动态激活范围，并打算跨时刻步的特征贯穿，诳骗相邻时刻步之间的特征同样性，增强二值模子的暗示才略。

而从空间角度启程，作家们小心到生成任务中的空间局部性以及扩散模子使用的基于卷积的 U-Net 结构。

于是淡薄了"空间分块蒸馏"（SPD），引入一个全精度模子行为监督，通过对分块的自小心效法，专注于局部特征，更好地教导二值扩散模子的优化所在。

具无意刻步友好二值结构和空间分块蒸馏的 BiDM

平素的实验标明，与现存的 SOTA 弥漫二值化步调比拟，BiDM 在保执换取推理服从的同期权贵提高了精度，在各式评价目的上超越了统统现存基线步调。

具体来说，在像素空间扩散模子中，BiDM 是唯独一种将 IS 提高到 5.18 的步调，接近全精度模子的水平，比最好基线步调高出 0.95。

在 LDM 中，BiDM 将 LSUN-Bedrooms 的 FID 从 SOTA 步调的 59.44 裁减到了令东谈主印象深远的 22.74，同期从简了 28.0 倍的存储空间和 52.7 倍的 OPs。

行为第一种弥漫二值化的扩散模子步调，无数生成的样本也讲明注解 BiDM 是当今唯独一种野蛮生成可袭取的弥漫二值化 DM 图像的步调，从而使 DM 在低资源场景中得到灵验应用。

具体咋完结的二值扩散模子基线

扩散模子：给定一个数据分散� �0~ � �（� �0），前向历程生成一个立地变量序列� � � �   ∊ ｛� �1，…，� � � �｝，该序列通过篡改核� �（� � � �| � � � �-1）生成，经常是高斯扰动，其抒发式为：

其中� � � �   ∊（0，1）是噪声转机。高斯篡改核允许作家们旯旮化辘集分散，因此诳骗� � � �：=1- � � � � 和

，不错通过采样一个高斯向量� �~N（0，I）并应用变换庸俗赢得� � � � 的样本。

反向历程旨在通已往除噪声生成样本，使用可学习的篡改核� � � �（� � � �-1| � � � �）近似不可用的条款分散 q（� � � �-1| � � � �），其抒发式为：

均值和方差不错使用重参数化妙技得到：

其中� � � � 是具有可学习参数� � 的函数靠近，用于把柄� � � � 预测� �。

关于扩散模子的测验，经常使用变分下界的简化变体行为亏本函数，以提高样实质料，其抒发式为：

由于 U-Net 野蛮和会低档次和高维特征，它已成为扩散模子的主流主干。U-Net 的输入输出块不错暗示为和，其中较小 m 对应的块是更低档次的。卓越贯穿将低档次信息从 Dm ( ·）传播到 Um ( ·），因此 Um 吸收到的输入暗示为：

二值化：量化通过将权重和激活闹翻化为低位宽，压缩并加快噪声测度模子。在二值化扩散模子的基线中，权重 W 被二值化为 1 位：

其中绚烂函数将 W 限制为 +1 或 -1，并设 0 为阈值。� � 是浮点标量，驱动化为（n 暗示权重数目），并在测验历程中进行学习。

同期，激活经常通过简便的 BNN 量化器进行量化：

当权重和激活同期被量化为 1 位时，去噪模子的算计不错由 XNOR 和 bitcount 运算代替，从而完结权贵的压缩和加快。

时刻步友好二值结构

在注目先容所提步调之前，作家们先纪念对扩散模子（DMs）属性的不雅察：

下图中， ( a ) 全精度 DDIM 模子在 CIFAR-10 上第 4 层卷积层的激活范围随去噪法子变化。 ( b ) 在 LSUN-Bedrooms 数据集上，全精度 LDM-4 模子在每一步的输出特征与前一步同样。

不雅察 1：激活范围在始终时刻步中变化权贵，但激活特征在短期相邻时刻步中同样。

之前的询查，如 TDQ 和 Q-DM，照旧标明，DMs 的激活分散在去噪历程中高度依赖于时刻步，发达为相邻时刻步之间的同样性，而远距离时刻步之间的差异较大，如图 2 ( a ) 所示。

因此，在统统时刻步中应用固定的缩放因子会导致激活范围的严重失真。除了分散范围除外，Deepcache 强调了连气儿时刻步之间高维特征的权贵时刻一致性，如图 2 ( b ) 所示。

这些步地促使作家们重新扫视现存的二值化结构。

二值化，尤其是权重和激活的弥漫二值化，与 4 位等低位量化比拟，会导致激活范围和精度的更大亏本。这使得生成丰富激活特征变得愈加贫瘠。激活范围和输出特征的不及严重毁伤了像 DMs 这么丰富暗示的生成模子。

因此，弃取更活泼的激活范围的二值量化器，并通过诳骗其特征输出来增强模子的举座抒发才略，是在弥漫二值化后提高其生成才略的症结计策。

作家们领先暖热始终时刻步之间的差异。

大多数现存的激活量化器，如 BNN 和 Bi-Real，告成将激活量化为｛+1，-1｝，如式 ( 7 ) 所示。这种步调严重淆乱了激活特征，负面影响了生成模子的抒发才略。一些纠正的激活二值量化器，如 XNOR++，弃取了可测验的缩放因子 k：

其中 国产情色K 的形式不错是向量或多个向量的乘积，但在推理历程中保执为常量值。尽管这种步调部分收复了激活的特征抒发，但它与高度斟酌的时刻步不匹配，可能仍会导致权贵的性能亏本。

作家们将小心力转向原始的 XNOR，它弃取动态算计的均值来构造激活二值量化器。其对二维卷积的运算不错暗示为：

其中，，，

。暗示二维过滤器，

和分别暗示带和不带乘法的卷积操作。这种步调自然保留了激活特征的范围，并跟着不同时间步的输入范围动态治愈。

然则，由于 DM 特征的丰富抒发，局部激活在模块通过前后的范围内发达出不一致，标明预定的 k 值不成灵验收复激活暗示。

因此，作家们使 k 可治愈，并允许其在测验历程中进行学习，以自允洽匹配激活在前后发生的范围变化。作家们淡薄的可学习的眇小卷积 k 的梯度算计历程如下：

值得小心的是，使 k 可学习不会增多任何额外的推理工作。算计资本保执不变，允许进行高效的二值运算。

另一方面，作家们专注于相邻时刻步之间的同样性。

Deepcache 告成索要高维特征行为缓存，以跳过 U-Net 中的无数深度算计，完结了权贵的推理加快。其历程暗示为：

然则，这种步调不适用于二值化扩散模子，因为二值收集的每个输出的信息内容特等有限。关于实质上照旧完结了权贵压缩和加快但抒发才略有限的二值扩散模子，作家们瞻望相邻时刻步之间的特征同样性将增强二值暗示，从而弥补抒发挑战。

作家们构建了一个跨时刻步的信息增强贯穿，以使用前一时刻步的特征丰富刻下时刻步的抒发。其历程不错暗示为：

其中是一个可学习的缩放因子。正如图 2 ( b ) 所示，不同块和时刻步中的高维特征同样性各别。

因此，作家们赞成了多个寂然的� � 值，以允许模子在测验历程中更灵验地自允洽学习。

纪念来说，时刻步友好的二值结构（TBS）包括在输入平均和跨时刻步贯穿后应用于缩放因子的可学习微卷积。它们的组合成果野蛮允洽扩散模子在始终时刻步中的激活范围变化，并诳骗相邻时刻步之间高维特征的同样性来增强信息暗示。

从错误减少的角度来看，图 3 中展示了TBS 的可视化。

领先，作家们将基线步调下二值扩散模子的输出抽象为向量 Bt-1。

缩放因子的不匹配会在它与全精度模子的输出向量 Ft-1 之间产生权贵的长度差异。

通过使用淡薄的缩放因子和可学习的微卷积，Bt-1 被膨胀为 Lt-1。Lt-1 更接近 Ft-1，但仍与全精度模子存在方朝上的差异。

跨时刻步的贯穿进一步诱骗了前一个时刻步的输出 Ft、Bt 和 Lt。相邻时刻步之间的高维特征同样性意味着 Ft-1 和 Ft 之间的差距相对较小，从而促进了 Lt-1 和 Lt 的诱骗。

临了，作家们通过应用 TBS 得到二值化扩散模子的输出，抒发式为 Tt-1= ( 1- � � ) · Lt-1+ � � · Lt，这一输出最接近全精度模子的输出 Ft-1。

空间分块蒸馏

由于生成模子的特质，扩散模子的优化历程与以往的判别模子有着不同的特征：

不雅察 2：传统的蒸馏难以教导弥漫二值化的扩散模子与全精度模子对皆，而扩散模子在生成任务中的特征在空间上发达出局部性。

在以往的实施中，在量化模子的测验历程中添加蒸馏亏本是常见的作念法。由于二值模子的数值空间有限，告成使用简便的亏本进行优化会导致治愈梯度更新所在的贫瘠，使学习变得具有挑战性。因此，向中间特征添加蒸馏亏本不错更好地带领模子的局部和全局优化历程。

然则，行为生成模子，扩散模子的高度丰富的特征暗示使得二值模子极难精致地效法全精度模子。

尽管原始扩散模子测验中使用的 L2 亏本与扩散历程中的高斯噪声对皆，但并不适用于中间特征的蒸馏匹配。在老例蒸馏历程中，常用的 L2 亏本时常优先优化差异较大的像素，从而导致愈加均匀和平滑的优化收场。

这种全局照应学习历程关于以图像生成为方针的二值模子来说是贫瘠的，因为其有限的暗示才略使得精细的蒸馏效法难以告成治愈模子以弥漫匹配全精度模子的所在。

与此同期，作家们小心到，使用 U-Net 行为主干的扩散模子由于其基于卷积的结构和生成任务的要求，自然发达出空间局部性。

这与以往的判别模子不同，判别模子中的任务（如分类）只需举座特征索要，而不需要低档次的要求，这使得传统的蒸馏步调不适用于具有空间局部性的生成任务。此外，大多数现存的扩散模子蒸馏步调专注于减少时刻步数，并未惩处图像生成任务中对特征空间局部性的需求。

因此，鉴于现存亏本函数在优化二值扩散模子上的贫瘠以及扩散模子的空间局部性，作家们淡薄了空间分块蒸馏（SPD）。

具体来说，他们打算了一种新的亏本函数，该亏本函数在蒸馏之前将特征离别为小块，然后逐块算计空间自小心力。自然传统的 L2 亏本使二值扩散模子难以完结告成匹配，导致优化挑战，但小心力机制使得蒸馏优化不错更侧重于症结部分。

然则，关于弥漫二值化的扩散模子来说，这仍然是具有挑战性的，因为高度闹翻的二值输出信息有限，使得模子难以拿获全局信息。

因此，作家们通过将中间特征离别为多个小块，并为每个小块寂然算计空间自小心力，使得二值模子在优化历程中野蛮更好地诳骗局部信息。

SPD 领先将二值扩散模子和全精度扩散模子的某个块输出的中间特征� �bi 和� �fp ∊� �bxcxwxh 离别为 p2 个小块：

然后，分别对每个小块算计自小心力：

在正则化之后，算计并累加相应位置的亏本：

其中