论文阅读：Non-parametric Sensor Noise Modeling and Synthesis

今天介绍的这篇工作是 ECCV 2024 的一篇文章，关于建模 sensor 噪声分布的。

Abstract

本文提出了一种新颖的非参数传感器噪声模型，该模型可直接从拍摄图像中按强度级别构建概率质量函数。我们证明，与现有模型相比，我们的噪声模型能更精确地拟合真实传感器噪声。我们详细阐述了推导非参数噪声模型的拍摄流程，并介绍了一种插值方法，该方法可减少所需拍摄的感光度（ISO）级别数量。此外，我们提出了一种在无噪声图像不可得的情况下，对现有含噪图像合成噪声的方法。我们的噪声模型校准简单，在下游任务中相较于其他竞争噪声模型有显著改进。

Introduction

在这里插入图片描述

图 1：(a) 我们的校准设置及相关图像采集方式。我们的方法为离散强度级别构建概率质量函数。
(b) 展示了谷歌 Pixel 6 相机在 ISO 6400 时的噪声合成对比情况。
© 与其他竞争模型相比，我们利用非参数噪声模型在原始图像去噪 - 去马赛克处理方面展现出了更好的效果。

现代相机已有显著改进，但设备尺寸的缩小和像素密度的提高，使得原始传感器读数更容易受到噪声影响。对于针对低级视觉任务的深度神经网络（DNN），精确的传感器噪声模型对于在训练图像上合成噪声至关重要。现有的噪声建模方法可分为基于物理原理的噪声模型和基于深度神经网络的噪声模型。

基于物理原理的方法运用统计建模来描述不同噪声源的分布。这些方法考虑到传感器噪声与光物理相关这一事实，因此采用高斯 - 泊松模型。然而，要精确模拟源自电路设计和信号处理技术差异的所有噪声源并非易事。最近，基于深度神经网络（DNN）的生成模型已被用于从实际拍摄数据中学习噪声合成。此类模型具有强大的表征能力。然而，其性能往往依赖于对各种各样场景的大量图像采集。这促使人们将基于深度神经网络的噪声模型与基于物理原理的噪声模型相结合。

本文引入了一种非参数方法来对原始传感器噪声进行建模。本文的噪声模型和基于物理原理的模型类似，是基于从图像形成过程中得出的统计数据构建的。然而，与传统模型不同的是，本文的方法并不依赖于该过程中对不同噪声成分的典型假设。相反，本文的方法是基于在每个像素强度级别上观测到的噪声分布。

本文提出了一种系统的校准技术来收集大量的噪声样本集。具体做法是，在固定感光度（ISO）下，通过控制照明，使用不同的曝光值拍摄一张带有均匀色块的测试图的连拍图像（见图 1）。收集到的噪声样本会用于为每个强度级别构建一个概率质量函数（PMF），然后在逆采样过程中使用该函数来合成噪声。

在实际应用中，噪声合成需要涵盖广泛的感光度（ISO）级别。为了更高效地应对如此密集的噪声校准需求，本文引入了一种插值方法。给定一组已校准的 ISO 级别，该方法能够为任意未校准的 ISO 近似估算噪声概率质量函数（PMF）。本文证明，所提出的噪声模型插值方法能够实现高精度，这得益于其底层所提出的非参数噪声模型的准确性。

本文还研究了现有噪声增强方法中常用假设所带来的影响。该假设预先设定添加噪声的原始图像是无噪声的。然而，在现实中，大多数图像已然受到噪声干扰，这在用于噪声合成时会产生域差距。由于获取难度较大，或者由于真实训练数据是通过黑箱且往往不可逆的图像渲染过程生成的，要获取干净的原始数据用于进一步的训练图像增强并非总是可行。在这些情况下，可能无法获得干净的原始图像。为解决这一问题，本文提出一种解决方案，将一对源噪声模型和目标噪声模型转化为单一模型，使我们能够在现有的含噪图像（源）数据上准确合成目标噪声，以用于进一步训练。

本文阐述了非参数传感器噪声模型，并概述了一种简单直接的校准程序，可直接从观测数据构建噪声概率质量函数（PMF）。该噪声模型是通过充分收集噪声样本构建这些 PMF 而得，无需对信号相关噪声和信号无关噪声的分布做出假设。随后我们表明，以准确的 PMF 形式获得噪声模型有助于解决噪声建模方面的两个主要问题：（1）如何推断未校准感光度（ISO）的噪声模型；（2）如何在已受噪声污染的图像上合成噪声。本文证明，通过基于足够大的噪声样本集准确构建的、具有明确噪声 PMF 的非参数模型，能最好地解决这些问题。

本文通过为联合去噪 - 去马赛克网络合成训练数据，展示了非参数噪声模型的有效性，这使得针对三星 S22 + 和谷歌 Pixel 6 手机评估的峰值信噪比（PSNR）和结构相似性指数（SSIM）有显著提升。本文还研究了在含噪图像上合成噪声以对原始图像到 sRGB 渲染网络进行数据增强的方法，并针对三星 S20FE 手机进行了评估。

Image Formation

在这里插入图片描述

图 2：从场景辐射在传感器表面的调制，到最终的数字存储，会引入不同类型的噪声。一些加性噪声与光子相关，而一些则与入射光无关。对于不同的传感器，有关不同噪声成分及其分布的假设可能会有所不同。

相机的成像过程遵循图 2 所示的典型流程。经相机光学系统调制后的场景辐射亮度出现在图像传感器（如电荷耦合器件 [CCD] 或互补金属氧化物半导体 [CMOS]）上，在该传感器处，光子会穿过微透镜阵列以提高光线收集效率。接下来，入射光会穿过彩色滤光片阵列（CFA），形成由红、绿、蓝三种颜色刺激组成的马赛克图案。最后，传感器上的光电二极管收集经过滤色后的光线，并输出单通道的数字原始图像。

在光电二极管这一层，一个势阱会对曝光时间 t 内到达传感器区域 A 的光子进行计数，并将积累的光子转换为电子。这种转换会受到彩色滤光片阵列和探测器的量子效率（即 η）的影响。然后，电子会被一个增益因子 g 放大，该增益因子可通过相机的 ISO 感光度设置进行控制。最后，模拟 - 数字转换器（ADC）会将经过调制的电子转换为数字信号。

在此过程中，电子噪声由不同来源产生。由于增益因子会影响噪声分布，因此将累积噪声划分为增益噪声 $n_g$ 和读出噪声 $n_r$ 至关重要。增益噪声 $n_g$ 主要包括暗噪声、暗电流和固定模式噪声，而读出噪声 $n_r$ 主要由热噪声主导。在保存原始图像之前的阶段，模数转换器（ADC）的量化误差 $n_q$ 也会被引入。光的量子特性同样会影响所收集光子的不确定性。入射光子的数量以及相关的光子噪声遵循期望值为 $u_p$ 的泊松分布。因此，图像形成过程可表示为：

$\tilde{I} = g(\eta u_p + \eta n_p(u_p) + n_g) + n_r + n_q \tag{1}$

其中， $\tilde{I}$ 表示观测到 RAW 图， $n_p(u_p)$ 表示光子噪声，它取决于入射光子的期望 $u_p$ ，将光电子 $\eta u_p$ 视为干净的 RAW 图，公式 1 可以表示为：

$\tilde{I} = I + N(I), \quad N(I) = g \eta n_p(I/g \eta) + g n_g + n_r + n_q$

$N (I)$ 表示与信号无关的全部噪声。

Non-parametric Noise Modeling

式（1）中的图像形成模型适用于多种不同的传感器架构。然而，针对特定传感器参数以及噪声分量分布的潜在假设，在不同传感器之间可能存在显著差异。因此，我们提出一种非参数传感器噪声模型，具体做法是收集足够大量的噪声样本，并校准式（2）中引入的与信号相关的整体噪声 $N (I)$ ，而不是对各个噪声分量分别进行建模。由于噪声在不同的彩色滤光片阵列（CFA）通道中有所不同，并且会受到增益因子的影响，所以我们针对每个颜色通道和每个感光度（ISO）级别对其进行建模。

Sensor noise calibration。我们利用在特定可控设置下拍摄的原始图像 — 具体来说，针对由直流光源照明且包含均匀色块的场景，拍摄具有无数光子通量密度的图像（图 1a）。首先，我们以低感光度级别 $\bar{\kappa}$ 拍摄一组共 $M$ 张彩色校准卡的图像，记为 $\{ \tilde{I}_{\bar{\kappa}}^{1}, ...,\tilde{I}_{\bar{\kappa}}^{M} \}$ 。假设在低感光度拍摄时噪声服从零均值分布，那么底层的纯净信号可以定义为含噪观测值的期望值。因此，将低感光度拍摄的图像进行平均，以形成一幅纯净图像，即 $Mean(\{ \tilde{I}_{\bar{\kappa}}^{1}, ...,\tilde{I}_{\bar{\kappa}}^{M})$ 。值得注意的是，拍摄均匀色块而非自然场景可以解决长时间曝光拍摄过程中因振动导致的轻微对齐问题，从而生成纯净图像。然后，我们在想要校准的感光度级别 $\kappa$ 下，再拍摄一组彩色校准卡图像，记为 $\{ \tilde{I}_{{\kappa}}^{1}, ...,\tilde{I}_{{\kappa}}^{M} \}$ 。拍摄这些含噪图像组时，要使其与纯净图像在空间上对齐。图 1a 展示了从彩色校准卡的均匀色块中提取的纯净图像组和含噪图像组的示例。我们检查每个强度级别的 $I$ ，并从含噪图像组中收集对应的像素。因此，针对每个感光度级别 $\kappa$ 的每个强度级别 $l$ ，会形成一个噪声样本集，其形式为：

$\xi_{\kappa}^{l} =\left\{\widetilde{I}_{\kappa}^{j}(i)-l\mid i\in\{1,\ldots,H\times W\},I(i) = l,j\in\{1,\ldots,M\}\right\} \tag{2}$

其中， $\times W$ 表示图像尺寸， $i$ 表示像素索引， $l$ 表示传感器强度级别，其范围是从 0 到传感器的白电平 $L$ ，即 $\in \{0, 1, ..., L \}$ 。为了针对代表各种光子通量密度（与图 2 中的 $\propto At$ 成正比）的每个强度级别收集足够大的样本集，我们通过扫描各种曝光时间来收集连拍图像。这就产生了从极暗像素到几乎完全饱和的强度，如图 1a 所示。我们的可控成像程序有助于直接自动拍摄数千张图像。

每个噪声集 $\xi_{\kappa}^{l}$ 的直方图用于形成概率质量函数 $p_{\xi_{\kappa}^{l}}(n)$ ，其中 $\in \mathbb{R}$ 表示噪声值。针对传感器所有强度级别获得的概率质量函数构成了我们特定感光度（ISO）的非参数噪声模型 $\{p_{\xi_{\kappa}^{0}}(n), p_{\xi_{\kappa}^{1}}(n),...p_{\xi_{\kappa}^{L}}(n) \}$ 。由于传感器的彩色滤光通道对入射光具有不同的敏感度，因此要针对传感器的每个颜色通道进行噪声建模。

Sensor noise synthesis 给定一幅纯净图像和经过校准的噪声模型，噪声通过逆变换采样法进行合成。一个记为 RandomSampling (・) 的逆变换采样函数通过对噪声分布的累积分布函数（CDF）求逆，从该噪声分布中生成随机样本。对于给定纯净图像 $I$ 中的每个像素 $i$ ，我们将含噪像素 $\tilde{I}(i)$ 合成如下：

$\tilde{I}(i) = I(i) + N(I(i)), \quad N(I(i)) \gets RandomSampling(p_{\xi_{\kappa}^{I(i)}}(n)) \tag{3}$

尽管将合成逼真的噪声作为一种增强策略，对更具普遍性的推断和更好的任务性能有贡献，但在开发针对特定相机 / 传感器的应用模型时，它有两个主要局限性：

传感器噪声建模通常只针对少数感光度（ISO）设置进行 —— 例如，一小部分标称感光度，如 $\{2^m100 | m \in \mathbb{N}, 0 \leq m \leq 6 \}$ 。然而，在常见的相机中，摄影曝光的加成系统（APEX）会使用广泛范围的感光度来计算曝光。因此，实际应用需要针对数量多得多的感光度设置的噪声模型。这带来了一个重大挑战，因为无论我们使用基于深度神经网络（DNN）的方法还是基于物理原理的方法，每个感光度级别的精确噪声模型都需要大量的拍摄数据。
现有的用于生成训练数据的噪声合成方法需要无噪声的原始图像来应用公式（2）。然而，在许多图像恢复应用中，真实（干净）数据是通过长时间曝光摄影以外的方法生成的。例如，使用与主相机在几何上对齐的辅助高端数码单反相机（DSLR）来捕获真实数据是一种常见方法，特别是当任务必须处理模糊效果时。或者，对于全原始图像到 sRGB 渲染应用，使用像 Adobe Photoshop 这样的黑盒渲染工具是获取真实数据的一种方法。在这些情况下，我们无法获取用于噪声合成的干净原始数据。另一方面，这样的真实数据是许多非线性操作的结果。因此，通过反演过程来近似原始图像，会在合成数据中造成不可避免的域差异。综上所述，使用一种噪声模型，能够在现有的有噪原始图像基础上添加一些经过校准的噪声，且使添加的噪声符合传感器特性，这将是很有价值的。
接下来，我们应对上述挑战。首先，我们开发一种插值方法，以推断未校准感光度的噪声分布。其次，我们讨论如何谨慎地将校准后的噪声模型应用于现有的有噪图像，以便用新的感光度扩充训练数据集。

Noise Model Interpolation

在某些条件下，并利用一些校准数据，对于未校准的 ISO 值，有可能近似估算式（1）中读出噪声和增益噪声的方差。有工作针对高增益（HG）模型采用了这种参数化方法，即通过求解一个线性方程组来估计噪声参数。我们发现，使用这种参数内插法合成的噪声与实际噪声之间存在较大差异，这可能是因为在进行噪声建模之前，像式（1）中的 $\eta$ 和 $g$ 等一些参数必须精确校准。图 3b 展示了通过对未校准的 ISO 值采用文献中的参数化方法得到的噪声方差图，从中可以注意到虚线图和实线图之间的差距。前面讨论的噪声建模方法是基于实际传感器噪声测量结果的。我们利用已校准的噪声统计数据，并提出一种内插法来估计未校准的概率质量函数（PMF），具体如下。

我们假设，不同 ISO 等级下，每个强度对应的噪声分布具有形状相似的概率质量函数（PMF），但在尺度和均值上存在显著差异。这一假设使我们能够通过在校准后的噪声方差和均值之间进行插值，来近似估算未校准 ISO 等级的噪声分布。设 $\kappa$ 表示来自已校准 ISO 等级集合 $\{ \kappa_{min},..., \kappa_{max} \}$ 中的一个已校准 ISO 值；对于每个 $\kappa$ ，在每个强度级别 $l$ 上，我们有以下统计数据。

$\sigma_{\xi_{\kappa}^{l}}^{2} = \text{Var}(\xi_{\kappa}^{l}), \mu_{\xi_{\kappa}^{l}} = \text{Mean}(\xi_{\kappa}^{l}), p_{\xi_{\kappa}^{l}}(n) \tag{4}$

其中， $Var(\cdot)$ 和 $Mean(\cdot)$ 分别表示样本集的方差和均值。均值为 0 且方差为 1 的归一化噪声分布，其概率质量函数（PMF）可以表示为:

$p_{\hat{\xi}_{\kappa}^{l}}(n)=\sigma_{\xi_{\kappa}^{l}}p_{\xi_{\kappa}^{l}}(n\sigma_{\xi_{\kappa}^{l}}+\mu_{\xi_{\kappa}^{l}}) \tag{5}$

我们假设，对于每个强度级别 $l$ ，在已校准的 ISO 等级中，这种归一化的概率质量函数（PMF）具有相似的特征函数，即 $p_{\hat{\xi}_{\kappa_{min}}^{l}}(n) \approx ... \approx p_{\hat{\xi}_{\kappa_{max}}^{l}}(n)$ ，因此，对于每组已校准的噪声分布，我们对测量得到的方差 $\{ \sigma_{\xi_{\kappa_{min}}^{l}}^{2} ,..., \sigma_{\xi_{\kappa_{max}}^{l}}^{2} \}$ 和均值 $\{ \mu_{\xi_{\kappa_{min}}^{l}},..., \mu_{\xi_{\kappa_{max}}^{l}} \}$ 进行曲线拟合，并使用这些拟合曲线分别近似估算未校准的 ISO 等级 $\in \{ j | j \in \mathbb{N}, \kappa_{min} \leq l \leq \kappa_{max} \}$ 的均值和方差，记为 $\sigma_{\xi_{{j}}^{l}}^{2}$ 和 $\mu_{\xi_{{j}}^{l}}$ ，对于每个未校准的 ISO 等级 $j$ ，噪声的概率质量函数（PMF）近似为:

$p_{\xi_{j}^{l}}(n)=\frac{1}{\sigma_{\xi_{j}^{l}}}p_{\hat{\xi}_{\kappa}^{l}}\left(\frac{n - \mu_{\xi_{j}^{l}}}{\sigma_{\xi_{j}^{l}}}\right) \tag{6}$

其中， $p_{\hat{\xi}_{\kappa}^{l}}$ 是来自已校准 ISO 等级集合的归一化噪声分布。然后，将近似的概率质量函数（PMF）用于式（3）中，以合成未校准 ISO 等级 $j$ 的噪声。图 3b 展示了这种非参数模型插值在 Pixel 6 手机相机上的一个应用案例，其中一些随机 ISO 等级的噪声模型是从图 3a 所示的已校准 ISO 等级集合中获得的。请注意，图 3b 中虚线图和实线图之间的差距极小。

在这里插入图片描述

图 3 Pixel 6 相机不同 ISO 下每个传感器强度级别的噪声方差图。
(a) 使用我们校准后的非参数模型和高增益（HG）噪声模型生成的噪声方差。(a) 中的校准 ISO 值用于对 (b) 中所示 ISO 的噪声模型进行插值。(b) 中的实线、虚线和点线图分别对应实际噪声的方差、使用我们的插值模型生成的噪声方差，以及 HG 噪声模型的参数插值 [34] 生成的噪声方差。

Applying Noise on Noisy Images

给定两种不同 ISO 设置下以概率质量函数 $p_{\xi_{1}^{l}}(n_1)$ 、 $p_{\xi_{2}^{l}}(n_2)$ 形式存在的已校准噪声模型，以及 $\tilde{I}_1$ 作为在第一个 ISO 等级下捕获的观测图像，我们需要模拟 $\tilde{I}_2$ 作为在第二个 ISO 等级下的图像。据我们所知，当前的做法是直接从 $p_{\xi_{2}^{l}}(n_2)$ 中采样噪声，并将其应用于 $\tilde{I}_1$ 上。然而，我们不能忽视 $\tilde{I}_1$ 已经受到噪声污染这一情况，并且希望图像重建网络能够学会补偿这种额外的非传感器特定噪声，同时不影响任务性能。

因此，我们建议通过考虑在现有噪声之上的加性噪声的概率，对要添加到现有含噪图像中的噪声进行建模，该加性噪声用 $n_2 - n_1$ 表示，其在每个强度级别 $l$ 下的分布特征函数可以是 $p_{\xi_{2}^{l}}(n_2 - n_1)$ 。然而，为了构建 $p_{\xi_{2}^{l}}(n_2 - n_1)$ ，我们需要对干净的强度图像进行一些近似，记为 $\hat{I}$ 。这对于选择与 $l$ 对应的正确概率质量函数（即 $\approx \hat{I}(i)$ ）是必要的，同时也用于将 $n_1$ 近似为 $n_1 \approx \tilde{I}_1(i) - \hat{I}(i)$ 。因此，对观测图像 $\tilde{I}_1$ 应用去噪器以获得 $\tilde{I}$ 。这样，我们建议通过以下方式模拟 $\tilde{I}_2$ :

$\tilde{I}_{2}(i) = \tilde{I}_{1}(i) + RandomSampling(p_{\xi_{2}^{l}}(n_2 - n_1)) \tag{7}$

我们表明，与简单地将 ISO 设置 2 的噪声模型应用于 ISO 设置 1 拍摄的图像相比，这种方法能产生更准确的噪声增强效果。

Experiments

我们通过统计分析以及为图像重建应用合成训练数据，来对我们的噪声模型进行分析。我们的方法需要在专门的可控设置下进行校准拍摄。由于我们无法获取构建 SIDD 和 ELD 所使用的相机，所以不能使用这些数据集来评估我们的噪声建模。相反，我们对三款不同的移动手机进行了校准，分别是三星的 S22+ 和 S20FE，以及谷歌的 Pixel 6，并使用这些手机收集评估数据，用于噪声合成分析。

Noise calibration details 按照第 4 节中的步骤，我们首先针对一组七个不同的 ISO 等级 $\{2^m×100 | m \in \mathbb{N}, 0 ≤ m ≤ 6\}$ ，对三星 S22 + 和谷歌 Pixel 6 相机进行校准。由于 S20FE 仅用于一组只需要 ISO 1600 和 ISO 3200 噪声模型的实验，所以我们仅针对这两个 ISO 等级校准 S20FE。
对于噪声采样，在每个 ISO 等级下，我们收集一系列 M = 100 张原始照片，这些照片具有九个不同的曝光值，即从 EV - 4 到 EV 4。在每个曝光值下，我们以 ISO 50（ $\kappa$ = 50）拍摄一组（M = 100）张原始图像，以生成一张干净的原始图像。所有相机传感器均使用拜耳彩色滤光片阵列（Bayer CFA）。因此，我们分别对拜耳四个颜色通道中的每一个进行噪声建模。噪声建模的强度级别范围是从传感器的黑电平到白电平。然而，为了避免欠采样，我们为每四个强度级别的区间分配一个噪声模型。例如，对于 10 位传感器，其黑电平为 64，白电平为 1023，最终每个 ISO 等级、每个 CFA 通道会得到 240 个噪声概率质量函数（PMF）。为了实现原始图像拍摄序列的自动化，我们使用了安卓 Camera2API。