- **Describe the workings of neighborhood operations**
    
    Convolution, spatial filtering, linear shift-invariant operations, border problem
- **Understand the effects of various filtering methods**
    
    Uniform filter, Gaussian filter, median filter, smoothing, differentiation, separability, pooling
- C**ombine filtering operations to perform image enhancement**
    
    Sharpening, unsharp masking, gradient vector & magnitude, edge detection

![image.png](/static/img/9e37314a430724ee4f7a5f4a8a62fcab.image.png)



# 对像素组使用空间滤波 Spatial Filtering on Groups of Pixels

使用输入图像中一个像素的灰度值以及其周围小区域内的灰度值来产生该像素在输出图像中的新灰度值。

这种方法也被称为滤波技术，因为根据应用于像素值的权重，它们可以抑制（滤除）或增强信息。

像素(x,y)的邻域通常是一个以(x,y)为中心的方形或矩形子图像，这个邻域可以被称为滤波器、掩膜、核、模板或窗口。

:::info{title="相关信息"}
在图像处理中，核（kernel）是用于图像滤波操作的一个小矩阵。核通常用来对图像进行卷积操作，以实现不同的图像处理效果，比如边缘检测、模糊、锐化等。每个核有特定的数值，这些数值决定了滤波操作的具体方式。
:::

使用输入图像中一个像素的灰度值以及其周围小区域内的灰度值来产生该像素在输出图像中的新灰度值。

这种方法也被称为滤波技术，因为根据应用于像素值的权重，它们可以抑制（滤除）或增强信息。

像素 (x,y) 的邻域通常是一个以 (x,y) 为中心的方形或矩形子图像，这个邻域可以被称为滤波器、掩膜、核、模板或窗口。

典型的核大小是 3×3 像素、5×5 像素、7×7 像素，但也可以更大，并且可以有不同的形状（例如，圆形而不是矩形）。

# 边界问题解决方法 Fixing the Border Problem

通过扩展图像到原始边界之外来解决边界问题，可以使用以下几种方法：

- 填充（Padding）：将所有附加像素设置为一个常数（通常为零）。这种方法会导致硬边界过渡，产生边界伪影（需要窗口化处理）。
- 夹持（Clamping）：无限期地重复所有边界像素值。这种方法具有更好的边界表现，但任意性较强（没有理论基础）。
- 环绕（Wrapping）：从相对一侧复制像素值。这种方法隐含用于快速傅里叶变换。
- 镜像（Mirroring）：在边界处反射像素值。这种方法平滑、对称、周期性，没有边界伪影。

![image.png](/static/img/335bf3c64208c35cb41444b3db7c6f8b.image.png)

# 卷积空间滤波 Spatial Filtering by Convolution

输出图像$o(x,y)$是输入图像 $f(x,y)$ 和核 $h(x,y)$ 经过离散卷积计算得到的：

$$
o(x,y) = \sum_{i=-n}^n\sum_{j=-m}^mf(x-i,y-j)h(i,j)
$$

![image.png](/static/img/257bf630359126582fba1e947b4d3cc1.image.png)

卷积是一种线性的、平移不变的操作：

- 线性（Linearity）：如果输入$f_1(x,y)$产生输出$g_1(x,y)$，输入$f_2(x,y)$产生输出$g_2(x,y)$，那么输入的线性组合$a_1f_1(x,y)+a_2f_2(x,y)$讲产生相同的输出组合$a_1g_1(x,y)+a_2g_2(x,y)$。
- 平移不变性（Shift Invariance）：如果输入$f(x,y)$产生输出$g(x,y)$，那么平移以后的输入$f(x-\Delta x, y-\Delta y)$将产生平移以后的输出$g(x-\Delta x, y-\Delta y)$。换句话说，该操作不区分空间位置。


:::info{title="卷积的性质"}
对于任意一组图像（函数）$f_i$，卷积操作$*$应当满足于如下性质：

- 交换性（Commutativity）：$f_1*f_2=f_2*f_1$
- 结合性（Associativity）：$f_1*(f_2*f_3)=(f_1*f_2)*f_3$
- 分配性（Distributivity）：$f_1*(f_2+f_3)=f_1*f_2+f_1*f_3$
- 可乘性（Multiplicativity）：$a \cdot (f_1*f_2)=(a\cdot f_1)*f_2=f_1*(a\cdot f_2)$
- 求导（Derivation）：$(f_1*f_2)'=f_1'*f_2=f_1*f_2'$
- 定理（Theorem）：$f_1*f_2 \leftrightarrow \hat{f_1} \cdot \hat{f_2}$

最后一个定理说明了在空间域的卷积相当于在频域的乘法。下次会讲到。
:::

# 最简单的平滑滤波器 Simplest Smoothing Filter

计算一个邻域 $N$ 中像素的平均值，其中 $|N|$ 是邻域中的像素数量，公示如下：

$$
g(x,y)=\frac{1}{|N|}\sum_{(i,j)\in N}f(x+i,y+j)
$$

- 通常用于图像模糊和噪声减少。
- 减少由于图像采集中的干扰引起的波动。
- 邻域平均也会模糊图像中的物体边缘。
- 可以使用加权平均来使某些像素更重要。
- 也被称为均匀滤波器（Uniform Filter），因为它隐含地使用了均匀的核。

![image.png](/static/img/511cb3e145c83e665f8b95785b86f34b.image.png)

图片展示了不同核大小对图像的平滑效果，从左到右依次是原图、3x3滤波后的图像、5x5滤波后的图像和7x7滤波后的图像。可以看到，随着核的大小增加，图像变得越来越平滑。

# 高斯滤波器 Gaussian Filter

高斯滤波器是最重要的基本图像滤波器之一。公式为：

$$
g_\sigma(x,y)=\frac{1}{2\pi \sigma ^2}e^{-\frac{x^2+y^2}{2\sigma ^2}}
$$

其中， $\sigma$ 是标准差，决定了滤波器的宽度。

![image.png](/static/img/43cebeeebe7daf5fa442a80598a7072b.image.png)

三维图像展示了高斯函数的三维形状，显示了其中心高、边缘低的钟形曲线特性。

![image.png](/static/img/a6fff80b7938a50ab54518b3879f2c57.image.png)

图像展示了不同尺寸和不同$\sigma$值的高斯核的图示，展示了高斯核的二维分布特性，核中心的值最大，离中心越远的值越小。

## 高斯滤波器的特性

- 它是唯一既可分离又圆对称的滤波器。
- 它在空间域和频域中具有最佳的联合定位能力。
- 高斯函数的傅里叶变换也是一个高斯函数。
- 任何低通滤波器的n次卷积都会收敛到一个高斯函数。
- 它是无限平滑的，因此可以被任意次微分。
- 它自然地按比例缩放（即$\sigma$，并且允许一致的尺度空间理论。）

![image.png](/static/img/aee1502bafa8f4346fe3380e8a0bf18e.image.png)

![image.png](/static/img/b30bb8dca8228bee7dd8a93c7f51ca27.image.png)

# 中值滤波器 Median Filter

- 中值滤波器是一种排序统计滤波器（order-statistics filter），基于像素值的排序和排名。
- 计算邻域 N 中像素值的中值，其中 ∣N∣ 表示邻域中的像素数量。
- 一组有序值的中值 m 是中间值。
- 集合中最多一半的值小于m，另一半的值大于m。
- 如果值的数量为偶数，中值通常取两个中间值的算术平均值。

![image.png](/static/img/d73b1b75fb97fbc25d89dc94b2fe6efe.image.png)

另外，还有一些滤波器。取最小值或最大值而不是中值，分别称为最小滤波（min-filtering）和最大滤波（max-filtering）。

![image.png](/static/img/8ea59874c7c7f909d8d0e794da099f55.image.png)

## 中值滤波器的特性

- **强制具有不同强度的像素变得更像它们的邻居：**

    中值滤波器通过将像素值替换为邻域内的中值，使得孤立的极端值变得与周围像素更一致。
- **消除孤立的强度尖峰（如“椒盐”噪声）：**
    
    中值滤波器特别有效地去除孤立的高强度或低强度噪声点，而不会显著模糊图像。
- **邻域通常是 $n \times n$ 像素大小，其中 $n=3,5,7,...$:**

    滤波器的窗口大小一般为奇数，以确保中值计算的对称性。
- **消除小于 $n^2/2$ 面积的像素簇（亮的或暗的）：**
    
    中值滤波器不仅能去除单个噪声点，还能消除面积较小的噪声簇。
- **它不是卷积滤波器，而是非线性滤波器的一种：**
    
    与线性滤波器（如卷积滤波器）不同，中值滤波器基于排序操作，是一种非线性滤波器。

![image.png](/static/img/1cd5788032202fe28e3602e77c88ca5c.image.png)

# 高斯滤波 VS 中值滤波

高斯滤波在保留小物体方面表现优越，因此在需要保留图像细节的小物体时使用高斯滤波效果更好。

中值滤波在去除小噪点方面表现出色，因此在需要消除图像中的小噪点时使用中值滤波效果更好。

![image.png](/static/img/fdb89132f7bf650319a40f0424fdc9b4.image.png)

# 通过反锐化掩模进行锐化 Sharpening by Unsharp Masking

1. 输入图像：左上角是输入的原始图像。
2. 高斯滤波：对输入图像进行高斯滤波，得到一个模糊的图像（左下角）。
3. 高频成分提取：将输入图像减去高斯滤波后的图像，得到高频成分（中间的图像）。这个步骤提取了图像中的边缘和细节信息。
4. 调整高频成分：对高频成分乘以一个系数 $\alpha$ 以控制锐化的强度。
5. 图像相加：将调整后的高频成分加回原始图像，得到锐化后的输出图像（右上角）。
6. 效果对比：右下角的两个小图分别展示了原图（绿色框）和锐化后的图像（红色框）在细节上的区别，可以看到，锐化后的图像边缘更加清晰。

反锐化掩模通过去除图像的低频成分（模糊部分），并增强高频成分（细节部分）来实现图像锐化。这种方法可以有效提高图像的清晰度，使得边缘和细节更加突出。

![image.png](/static/img/116c0b674e8ec3d1b5728322562b1cd6.image.png)

# 池化 Pooling

- 池化结合了滤波(Flitering)和下采样(Downsampling)的操作：
    
    池化操作同时进行数据的过滤和下采样，将图像尺寸缩小的同时减少计算量。

- 池化操作的例子包括最大池化、最小池化、中值池化和平均池化：

    最大池化（max pooling）：取池化窗口中的最大值。
    
    最小池化（min pooling）：取池化窗口中的最小值。
    
    中值池化（median pooling）：取池化窗口中的中值。
    
    平均池化（average pooling）：取池化窗口中的平均值。

- 池化使图像变小并减少计算量：

    通过下采样，池化操作减少了特征图的尺寸，从而降低了后续处理的计算复杂度。

- 池化在深度卷积神经网络中非常流行：

    池化层在卷积神经网络（CNN）中广泛使用，帮助模型在减少计算量的同时保留重要的特征。

![image.png](/static/img/bb629aaceb524d28e9d3c03a096d27c0.image.png)

# 导数滤波器 Derivative Filter

用于图像的梯度域滤波。

- 梯度域滤波：

    导数滤波器用于在梯度域进行滤波，响应强度变化（如物体边缘）。
- 空间导数响应于强度变化：

    在数字图像中，空间导数用于检测图像中强度的变化。
- 数字图像中通过有限差分法近似导数：

    在图像处理中，导数通过有限差分（finite differences）方法进行近似计算。

## 不同的有限差分法

### 前向差分 Forward Difference

$$
\frac{\partial f}{\partial x} \approx f(x+1) - f(x)
$$

核：$[1, -1]$

### 后向差分 Backward Difference

$$
\frac{\partial f}{\partial x} \approx f(x) - f(x-1)
$$

核：$[1, -1]$

### 中心差分 Central Difference

$$
\frac{\partial f}{\partial x} \approx f(x+1) - f(x-1)
$$

核：$[1, 0, -1]$

:::note{title="注"}
在卷积过程中，核是被翻转的。
:::

### 二阶空间导数

![image.png](/static/img/9ea30bfb1dde159c98e1d8d033185424.image.png)

### 高斯函数及其一阶和二阶导数的离散近似

- 高斯函数 $g(x)$ 用于平滑图像，表示为一个钟形曲线。
- 一阶导数用于检测图像中的边缘。
- 二阶导数用于检测图像中的变化率的变化，反映更细微的边缘信息。

![image.png](/static/img/78177441f850fca774b97cc345d827c3.image.png)

### 高斯滤波器核扩展到二维和不同空间尺度的应用

这些二维高斯导数核可以在图像处理中检测不同方向和不同尺度上的边缘和特征。

较小的核（如σ=1.0）适用于检测图像中的细节，而较大的核（如σ=3.0）则适用于检测较大的结构。

![image.png](/static/img/a27634f550503fd029550eb093ad65ac.image.png)


# Prewitt和Sobel核

用于图像边缘检测，通过在一个维度上进行差分，在另一个维度上进行平滑处理。

![image.png](/static/img/be93d70c5a9585445754d4b7501ac25c.image.png)

![image.png](/static/img/2ca9c6202c8f564223a1d93c6a48647d.image.png)

# 可分离滤波器核 Separable Filter Kernel

可分离滤波器核通过将二维卷积分解为两个一维卷积，显著减少了计算量。不同的滤波器核用于不同的图像处理任务，例如平滑和边缘检测。

![image.png](/static/img/84a28954f6410aac09961a80b499bae9.image.png)

通过分离滤波器核实现更高效的计算。

通过分离滤波器核，二维卷积可以分解为两个一维卷积。

通过将二维卷积分解为两个一维卷积，计算复杂度从17次操作每像素减少到10次操作每像素，实现了更高的计算效率。对于更大的核和三维图像，效率提升更加显著。

![image.png](/static/img/57afde59c0255c799acf1bed049a203b.image.png)

# 拉普拉斯滤波 Laplacian Filtering

拉普拉斯滤波是一种二阶导数滤波器，用于检测图像中的变化率。它的核是通过近似计算 $f_{xx}$ 和 $f_{yy}$ 的和来实现的。

注意，这里是直接暴力扩展：

$f_{xx}$ 扩展后：

$$
\begin{bmatrix}
0 & 0 & 0 \\
1 & -2 & 1 \\
0 & 0 & 0
\end{bmatrix}
$$

$f_{yy}$扩展后：

$$
\begin{bmatrix}
0 & 1 & 0 \\
0 & -2 & 0 \\
0 & 1 & 0
\end{bmatrix}
$$

![image.png](/static/img/d8509b676e875d75242cc3839a36a323.image.png)

## 拉普拉斯滤波的边缘检测

![image.png](/static/img/817e5f51502dc2c8380e151ec4ba9e21.image.png)

## 用拉普拉斯进行锐化 Sharpening using hte Laplacean

![image.png](/static/img/5d815bcb3218616fc72f7bd034a80016.image.png)

# 强度梯度向量 Intensity Gradient Vector

强度梯度向量表示图像中强度变化最剧烈的方向。数学上，它表示为二维向量：

$$
\begin{bmatrix}
f_x(x,y) \\
f_y(x,y)
\end{bmatrix}
$$

这两个指图像在x方向和y方向上的一阶导数。

- 梯度向量指向强度增加最快的方向。
- 梯度向量垂直于等值线（isophotes），即强度相同的线。

## 梯度幅值 Gradient Magnitude

梯度幅值表示梯度向量的长度，即局部强度变化的大小。数学上，它表示为：

$$
||\nabla f(x,y)||= \sqrt{f_x(x,y)^2+f_y(x,y)^2}
$$

- 梯度幅值表示梯度向量的长度。
- 它是局部强度变化的大小。

## 图像表示

![image.png](/static/img/e98edc620e9f3c823dda1dbd4869cc35.image.png)

- 图像显示了梯度向量的方向和等值线（isophotes）。
- 红色等值线表示图像中的等强度线。
- 蓝色箭头表示梯度向量的方向，指向强度增加最快的方向，并垂直于等值线。

## 梯度幅值的边缘检测

![image.png](/static/img/e1221dc314b52aa866de313bd2a1c981.image.png)

## 梯度域编辑 Gradient Doamin Editing

![image.png](/static/img/07d09612e4f6824a8671c54015673193.image.png)

# 选择合适的空间尺度

通过不同尺度的高斯导数核来计算图像的导数，可以得到不同细节层次的边缘信息。

第一行：通过阈值化局部最大值得到的边缘

- σ=1：细节丰富，边缘较多，噪声较多。
- σ=3：边缘信息减少，但仍有较多细节。
- σ=5：边缘清晰，细节适中（推荐的参数）。
- σ=7：边缘较粗，细节较少。
- σ=9：边缘最粗，细节最少。

第二行：通过找到 $∇^2f(x,y)$ 的零交叉点得到的边缘

## 性质

较小的σ值（如σ=1）会捕捉到更多的细节和噪声。

较大的σ值（如σ=9）会平滑图像，减少细节和噪声，但可能会丢失重要的边缘信息。

# 傅立叶域中的微分 Differentiation in the Fourier Domain

![image.png](/static/img/a108c608fc283583011597a6f01c4832.image.png)

# 考试例题 Example Exam Question

What is the effect of the 2D convolution kernel shown on the right when applied to an image?

![image.png](/static/img/94c794c6d2641279aca2dbe225da0b13.image.png)

A. It approximates the sum of first-order derivatives in x and y.
B. It approximates the sum of second-order derivatives in x and y.
C. It approximates the product of first-order derivatives in x and y.
D. It approximates the product of second-order derivatives in x and y.

> 答案选B。这个是拉普拉斯核的常见形式，用于近似计算图像的二阶导数之和，它是$f_{xx}$和$f_{yy}$经过二维暴力扩展后相加的产物。

![image.png](/static/img/452980e991369fa8c51b09304801236a.image.png)

COMP9517 Week 2 Image Processing Part 1

第一周的第二节课，讲述了CPP的一些基本用法。



# auto关键字

auto关键字允许编译器静态分析推断该类型，而不需要显式声明。

```cpp
int main()
{
    auto i = 0; // i is an int
    auto j = 8.5; // j is a double
    auto k = false; // k is a bool
    (void)i;
    (void)j;
    (void)k;
}
```

# const关键字

- const表示了无法被修改的一个变量
- 除非你知道它会被修改，不然任何变量都应当是const的
- 书写的规范是，const写在类型关键字的右侧

```cpp
int main()
{
    // `int` for integers.
    auto const meaning_of_life = 42;

    // `double` for rational numbers.
    auto const six_feet_in_metres = 1.8288;

    (void)meaning_of_life;
    (void)six_feet_in_metres;

    // meaning_of_life++; // COMPILE ERROR HERE
}
```

使用const关键字有以下几个原因：

- 更清晰的代码(你可以知道一个函数的只读权限)
- 不可变的对象更易被推理
- 编译器可以为不可变对象做优化
- 不可变对象在多线程环境中更有优势

# 类型转换

## 隐式类型转换

```cpp
#include <catch2/catch.hpp>

TEST_CASE()
{
    auto const i = 0;
    {
        auto d = 0.0;
        REQUIRE(d == 0.0);

        d = i; // Silent conversion from int to double
        CHECK(d == 42.0);
        CHECK(d != 41);
    }
}
```

当将int类型的i赋值给double类型的d时，发生了隐式类型转换。i的值为0，在赋值过程中被转换为double类型的0.0。

CHECK(d == 42.0)：由于i的值为0，因此在隐式转换后d的值也应该是0.0，而不是42.0。这一行断言会失败。

同样的，CHECK(d != 41);这一行断言也会失败，因为d的值是0.0，与41不相等。

## 显式类型转换

```cpp
#include <catch2/catch.hpp>

TEST_CASE()
{
    auto const i = 0;
    {
        // Preferred over implicit, since your intention is clear
        auto const d = static_cast<double>(i);
        CHECK(d == 42.0);
        CHECK(d != 41);
    }
}
```

# 函数

## 定义

两种定义法都可以，更推荐使用现代语法。

```cpp
#include <iostream>

auto main() -> int
{
    // put "Hello world\n" to the character output
    std::cout << "Hello, world!\n";
}
```
```cpp
#include <iostream>

int main() {
  // put "Hello world\n" to the character output
  std::cout << "Hello, world!\n";
}
```

## 参数

- 默认参数：函数可以使用默认参数，如果函数调用时没有指定实际参数，则使用默认参数。
- 默认值的位置：默认值用于函数调用中未指定的尾部参数，这意味着参数的顺序很重要。

```cpp
#include <string>

std::string rgb(short r = 0, short g = 0, short b = 0)
{
    (void)r;
    (void)g;
    (void)b;
    return "";
}

int main()
{
    rgb(); // rgb(0, 0, 0);
    rgb(100); // Rgb(100, 0, 0);
    rgb(100, 200); // Rgb(100, 200, 0)
    // rgb(100, , 200);   // error
}
```

## 重载

函数重载是指在同一作用域内，具有相同函数名但参数不同的一组函数。这种技术可以使代码更容易编写和理解。

注意：

- 函数匹配错误：函数匹配中的错误会在编译时被发现。
- 忽略返回类型：在函数匹配过程中，返回类型被忽略，仅根据参数进行匹配。

建议：

- 在编写代码时，建议仅创建简单的函数的重载

```cpp
#include <catch2/catch.hpp>

auto square(int const x) -> int
{
    return x * x;
}

auto square(double const x) -> double
{
    return x * x;
}

TEST_CASE()
{

    CHECK(square(2) == 4);
    CHECK(square(2.0) == 4.0);
    CHECK(square(2.0) != 4);
}
```

# 引用

- 我们可以像在C语言中那样在C++中使用指针，但通常我们不希望这样做。
- 引用是另一个对象的别名：你可以像使用原始对象一样使用引用。

相似点：

- 都是指向另一个对象。

不同点：

- 不需要使用->来访问元素，直接使用.即可。
- 不能为null。
- 一旦设置了引用，就不能更改其指向的对象。

```cpp
#include <catch2/catch.hpp>

TEST_CASE()
{
    auto i = 1;
    auto& j = i;
    j = 3;

    CHECK(i == 3);
}
```

## 常量引用

常量引用意味着你不能通过该引用修改对象。

但是，对象本身仍然可以被修改，只是不能通过这个常量引用进行修改。

```cpp
#include <iostream>

int main()
{
    auto i = 1;
    auto const& ref = i;
    std::cout << ref << '\n';
    i++; // This is fine
    std::cout << ref << '\n';
    // ref++; // This is not allowed

    auto const j = 1;
    auto const& jref = j; // this is allowed
    // auto& ref = j; // not allowed
    std::cout << jref << "\n";
}
```

# 函数参数传递方法

## 值传递

实际参数的值被复制到用于存储形式参数的内存中，在函数调用/执行期间使用。

这意味着在函数内部对参数的任何修改不会影响函数外部的实际参数。

```cpp
#include <iostream>

auto swap(int x, int y) -> void
{
    auto const tmp = x;
    x = y;
    y = tmp;
}

auto main() -> int
{
    auto i = 1;
    auto j = 2;
    std::cout << i << ' ' << j << '\n'; // prints 1 2
    swap(i, j);
    std::cout << i << ' ' << j << '\n'; // prints 1 2... not swapped?
}
```

## 引用传递

形式参数仅作为实际参数的别名。每当方法/函数使用形式参数（用于读或写）时，它实际上是在使用实际参数。

优点：

减少内存开销
- 通过引用传递参数不会创建参数的副本，从而减少了内存的使用。这对于大型对象尤其重要。

提高性能
- 因为没有创建参数副本的开销，所以通过引用传递参数可以提高函数调用的性能。

修改原始数据
- 通过引用传递参数，函数可以直接修改实际参数的值，这对于需要在函数内部修改外部变量的情况非常有用。

```cpp
#include <iostream>

auto swap(int& x, int& y) -> void
{
    auto const tmp = x;
    x = y;
    y = tmp;
}

auto main() -> int
{
    auto i = 1;
    auto j = 2;
    std::cout << i << ' ' << j << '\n'; // 1 2
    swap(i, j);
    std::cout << i << ' ' << j << '\n'; // 2 1
}
```

## 性能比较

```cpp
/*auto by_value(std::string const sentence) -> char;
// takes ~153.67 ns
by_value(two_kb_string);

auto by_reference(std::string const& sentence) -> char;
// takes ~8.33 ns
by_reference(two_kb_string);

auto by_value(std::vector<std::string> const long_strings) -> char;
// takes ~2'920 ns
by_value(sixteen_two_kb_strings);

auto by_reference(std::vector<std::string> const& long_strings) -> char;
// takes ~13 ns
by_reference(sixteen_two_kb_strings);*/
```

# 声明与定义

声明：

- 声明使变量的类型和名称变得已知。
- 声明不分配存储空间，也不构造变量。
- 你可以通过声明调用函数，但必须在之后提供定义。

定义：

- 定义是一个声明，但它还做了额外的事情：
    - 变量定义分配存储空间并构造变量。
    - 类定义允许你创建类类型的变量。
    - 函数定义提供函数的实现。
- 每个变量或函数必须有且只有一个定义。

```cpp
#include <catch2/catch.hpp>

// 函数声明
void declared_fn(int arg);

// 类声明
class declared_type;

// 这个类是定义的，但不是所有的方法都被定义了。
class defined_type {
    int declared_member_fn(double);
    int defined_member_fn(int arg) { return arg; }
};

// 函数定义
int defined_fn(int arg)
{
    (void)arg;
    return 1;
}

TEST_CASE()
{
    int i;
    int const j = 1;
    auto vd = std::vector<double> {};
    (void)i;
    (void)j;
    (void)vd;
}
```

# 程序错误

一般有以下几种错误：

## 编译时错误 Compile-time Errors

编译时错误是在源代码编译过程中由编译器检测到的错误。常见的编译时错误包括：
- 语法错误
- 类型错误
- 声明/定义不匹配

## 链接时错误 Link-time Errors

链接时错误是在编译器生成目标文件后，由链接器在试图将多个目标文件链接成一个可执行文件时检测到的错误。常见的链接时错误包括：

- 未定义符号
- 重复定义

## 运行时错误 Run-time Errors

运行时错误是在程序运行过程中发生的错误。常见的运行时错误包括：

- 空指针引用
- 数组越界
- 除0错误

## 逻辑错误 Logic Errorss

逻辑错误是程序在运行时不会产生错误信息，但程序的输出结果不符合预期。这类错误通常是由于编程逻辑不正确引起的，需要通过调试和测试来发现和修正。

- 算法错误
- 错误的条件判断

# 文件io

```cpp
#include <fstream>
#include <iostream>

int main()
{
    // Below line only works C++17
    std::ofstream fout { "data.out" };
    if (auto in = std::ifstream { "data.in" }; in) { // attempts to open file, checks it was opened
        for (auto i = 0; in >> i;) { // reads in
            std::cout << i << '\n';
            fout << i;
        }
        if (in.bad()) {
            std::cerr << "unrecoverable error (e.g. disk disconnected?)\n";
        } else if (not in.eof()) {
            std::cerr << "bad input: didn't read an int\n";
        }
    } // closes file automatically <-- no need to close manually!
    else {
        std::cerr << "unable to read data.in\n";
    }
    fout.close();
}
```

COMP6771 Week 1 Cpp Basics

COMP9517 Week 1 Image Processing Basics



# 图像处理 & 图像分析 Image Processing & Image Analysis

图像处理遵循的是：Image in -> Image out

它的目标是消除失真，或者增强相关的信息。（suppress distortions & denhance relevant information）

图像分析遵循的是：Image in -> Features out

计算机视觉遵循的是：Image in -> Interpretation out

# 图像处理的形式 Types of Image Processing

两种图像处理的方式：

- 图像空间的空间域操作（Spatial Domain Operations in Image Space）
- 傅立叶空间的变换域操作（Transform Domain Operations in Fourier Space）【Week 2】

两种空间域操作方式：

- 点操作（单个像素的强度转换）
- 邻域操作（对像素组进行空间滤波）【Week 2】

# 空间域变换概述

空间域变换满足以下公式：

$$
g(x,y) = T[f(x,y)]
$$

- $f(x,y)$：输入的图像
- $g(x,y)$：输出的图像
- $T[\cdot]$：在$(x,y)$上的操作符

在点操作中，操作符作用于单个的像素：

$$
T: R \rightarrow R \ \ g(x,y) = T[f(x,y)]
$$

在邻域操作中，操作符作用于一组像素：

$$
T: R^n \rightarrow R \ \ g(x,y)=T[f(x,y), f(x+1, y), f(x-1,y), ...]
$$

# 基本点操作 Bcasic Point Operations

## 对比度拉伸 Contrast Stretching

对比度拉伸用于生成对比度更高的图像。它通常的工作原理是：

- 将输入图像中低于L的像素的值设置为最小值（黑色）
- 将输入图像中高于H的像素的值设置为最大值（白色）
- 将输入图像中介于L与H之间的像素的值线性缩放到输出图像的最小值（黑色）和最大值（白色）之间

![image.png](/static/img/958743c415cdb433cd3f6ef6a04b0f85.image.png)

## 强度阈值 Intensity Thresholding

- 是对比度拉伸的极限情况
- 生成灰度图像的二值图像
- 将低于阈值的值在输出中设为黑色
- 将等于或高于阈值的值在输出中设为白色
- 仅当对象和背景的强度差异很大时才有用
- 结果很大程度取决于阈值水平（用户设置的参数）

![image.png](/static/img/9e4b1ea12da5dfbf0bbc6c61c7007f16.image.png)


![image.png](/static/img/f8eac27ee187fbbcba6a78ea4604bdd2.image.png)


![image.png](/static/img/db4df2f23fd7a21770f3b9aee2276740.image.png)

## 强度阈值的自动计算

### 大津法（Otsu's Method）

1. 通过穷举法搜索最小类内方差的阈值（Exhaustively searches for the threshold minimising the intra-class variance）

$$
\sigma_W^2=p_0\sigma_0^2+p_1\sigma_1^2
$$

2. 等价最大类间方差（Equivalent to maximising the inter-class variance）【计算速度更快】

$$
\sigma_B^2=p_0p_1(\mu_0-\mu_1)^2
$$

- $p_0$：是低于阈值的像素比例（class 0）
- $p_1$：是等于或高于阈值的像素比例(class 1)
- $\mu_0$：是class 0的像素平均强度
- $\mu_1$：是class 1的像素平均强度
- $\sigma_0^2$：是class 0的强度方差
- $\sigma_1^2$：是class 1的强度方差
- $p_0+p_1=1$
- $\sigma_0^2+\sigma_1^2=\sigma^2$

![image.png](/static/img/b726dde9d662bd7962dbe15c8a4c14ff.image.png)

### IsoData法 IsoData Method

1. 选择一个人一的初始阈值 $t$
2. 根据阈值计算出两种class像素的均值 $\mu_0$ 和 $\mu_1$
3. 将阈值更新为两组均值的中点：$t = (\mu_0+\mu_1)/2$
4. 如果步骤3中，$t$ 的值发生了改变，则返回步骤2继续

当收敛时，阈值位于两个类别均值的中点。最终使阈值位于两类像素强度均值的中点，从而实现最佳的图像二值化分割。

![image.png](/static/img/c5fd0d4ba2423dcbc00253e3657abd6f.image.png)

## 多阈值分割 Multilevel thresholding

与单阈值时相同，只不过分配的颜色多了几个区间。

![image.png](/static/img/987073a647783d7bea35ec3f5044fa06.image.png)

## 强度反转 Intensity inversion

在强度反转操作中，图像的每个像素的强度值都被反转。例如，输入强度值为0（黑色）的像素在输出图像中变为1（白色），而输入强度值为1（白色）的像素在输出图像中变为0（黑色）。中间值的强度也相应地反转。

![image.png](/static/img/a2d54428bba391a02168416620cd2518.image.png)

## 对数变换 Log Transformation

对数变换的定义：

$$
s=c \cdot log (1+r)
$$

其中，$r$ 是输入强度，$s$ 是输出强度， $c$ 是常数。

- 用于将输入的低灰度值的窄范围映射到输出值的较宽范围，反之亦然
- 压缩具有大像素值变化范围的图像的动态范围（如傅里叶频谱，将在后面讨论）

图表展示了输入灰度级 $r$ 和输出灰度级 $s$ 之间的关系曲线。曲线说明了不同变换（如对数、负变换、幂变换等）对输入输出灰度级的影响。

![image.png](/static/img/b8d68e6736b5176f498ee76ba3d7c9e8.image.png)

## 幂变换 Power Transformation

幂变换的定义：

$$
s=c\cdot r^\gamma
$$

其中，$c$ 和 $\gamma$ 都是常数。

- 类似于（逆）对数变换
- 通过改变 $\gamma$ 表示一系列变换
- 许多设备按幂律响应
- 幂变换的示例：伽玛校正
- 对于通用对比度调整非常有用

![image.png](/static/img/88754481329bcec3ba40d73e1580ceb0.image.png)

![image.png](/static/img/258528d3aab7b7919f9baf51b01f51d2.image.png)

## 分段线性变换 Piecewise Linear Transforamtion

- 补充其他变换方法
- 使得变换设计更加精细化
- 可以具有非常复杂的形状
- 需要更多的用户输入

![image.png](/static/img/fbf9eb73e9930e5c01ac40b8ced9871b.image.png)

## 灰度切片 Gray-Level Slicing

用于突出显示特定范围的灰度级。两种不同的切片方法：
1. 对感兴趣范围内的所有灰度级赋予高值，对所有其他灰度级赋予低值（生成二值图像）(Transform 1)
2. 在保持背景和图像其他灰度级不变的情况下，使特定范围的灰度级变亮（Transform 2）


![image.png](/static/img/6b106810ad359d23832b17d2dfb6c56f.image.png)

## 位平面切片 Bit-Plane Slicing

- 突出显示特定位对整个图像的贡献
- 每个像素有n位的图像有n个位平面
- 可以用于图像压缩

![image.png](/static/img/68bca7c5b54c215c7163c67a69079cad.image.png)

![image.png](/static/img/41c2437b338afb4a98d0d3cc6e9e8620.image.png)

# 像素直方图 Histogram of Pixel Values

## 定义

对于每一个可能的灰度级值，计算具有该值的像素数量，并将像素数量作为灰度级的函数绘制出来。

![image.png](/static/img/447de604b5cfe82c24444b27b368df14.image.png)

## 基于直方图的阈值处理 Histogram Based Thresholding

我们可以使用三角形法（Triangle Method）计算阈值。

1. 找到直方图的峰值点 $r_p,h_p$ 和最高的灰度级点 $r_m, h_m$
2. 从峰值点到最高灰度级点构造一条直线 $l(r)$
3. 找到使得 $||l(r)-h(r)||$ 距离最大的灰度级 $r$

![image.png](/static/img/88961d2d822bc0b9acd30531a7c93fa0.image.png)

以下是Otsu's Method, IsoData Method, Triangle Method的对比：

![image.png](/static/img/8157383850fdb70a72447a52edafb18f.image.png)


# 直方图处理 Histogram Processing

直方图均衡化（Histogram equalization）：

- 使图像在整个强度范围内具有均匀分布的强度级

直方图规定（Histogram specification）或称直方图匹配（Histogram matching）：

- 使图像具有指定的强度分布，该分布由直方图的形状决定

## 直方图均衡化 Histogram Equalization

增强直方图最大值附近的强度值的对比度，并降低直方图最小值附近的对比度。

![image.png](/static/img/0ecba96fed4cf7968756a4d36f105fa2.image.png)

以下是直方图均衡化的数学模型：

- 设 $r \in [0, L-1]$ 表示像素值（强度，灰度级），其中 $r=0$表示黑色，$r=L-1$表示白色。
- 考虑变换 $s=T(r)$，其中 $0 \le r \le L-1$，满足以下条件：
    - $T(r)$ 是单值，且在 $0 \le r \le L-1$ 范围内单调递增，这保证了逆变换 $T^{-1}(s)$ 的存在。
    - 对于 $r \in [0, L-1]$，有 $T(r) \in [0, L-1]$，这保证了输入和输出的范围相同。

### 直方图均衡化的数学方法

以下是连续与离散情况下，直方图均衡化的数学方法：

![image.png](/static/img/760650ecbe6da9f87c464bb8d1c490de.image.png)

![image.png](/static/img/249420591445eda74c8e7545cc522f67.image.png)

### 直方图均衡化斜率约束 Constrained histogram equalization

1. 完全直方图均衡化（Full histogram equalization）：$T(r)$ 的斜率没有约束，灰度值的变换函数是自由变化的。
2. 约束直方图均衡化（Constrained histogram equalization）：$T(r)$ 的斜率是受约束的，变换函数的变化受到了限制，避免了极端的对比度变化。

完全直方图均衡化虽然可以显著增强对比度，但有时会导致图像过度增强，细节丢失。而约束直方图均衡化则通过限制变换函数的斜率，避免了过度增强，保留了更多的图像细节，使得处理后的图像更加自然。

![image.png](/static/img/a66442d16a9cf89aeeeb0cbf97466389.image.png)

## 直方图匹配 Histogram Matching

直方图均衡化的目的是增强图像对比度，使灰度级均匀分布。而直方图匹配（或称直方图规定）则是将一幅图像的灰度分布调整为目标分布，使其符合特定的灰度分布要求。简单来说，直方图匹配是为了让输入图像的灰度分布变成和目标图像的灰度分布相似。

具体步骤如下：

1. 直方图均衡化：首先，将输入图像的灰度分布转换为均匀分布。通过累积分布函数  $T(r)$ 实现这一点。
2. 逆变换到目标分布：然后，使用目标分布的逆累积分布函数 $G^{-1}(s)$ 将均匀分布转换为目标分布。

### 直方图分配的数学方法

以下是连续与离散情况下，直方图分配的数学方法：

![image.png](/static/img/80bbd18726ddc5ad80c220d38bf8f79a.image.png)


![image.png](/static/img/ea19d4bfbdc10468c8496bbae93d3821.image.png)

### 直方图分配例子 Histogram Matching Example

在这个实例中，直方图匹配对每个颜色通道（R、G、B）分别进行处理，使输入图像的直方图尽可能匹配目标图像的直方图。通过这种方法，输入图像的颜色分布被调整为类似于目标图像的颜色分布，从而使输出图像在视觉效果上更接近目标图像。

![image.png](/static/img/6bcaaba9fe46d847b50754a84269649a.image.png)

# 算数和逻辑运算

算术和逻辑运算是在两个图像之间基于像素逐个进行的。

可以使用的有：+，-，\*，/，AND，OR，XOR，...

## 加法和减法 addition and subtraction

左侧的两个图像（Input 1 和 Input 2）展示了不同时间点拍摄的同一场景。输入图像 1 中没有人，而输入图像 2 中有人经过。

输出图像中显示了两幅图像的差异，结果中可以明显看到人的轮廓。

![image.png](/static/img/173f21ee52a2cdc76bdc7ac9bbc45760.image.png)

## 逻辑与和逻辑或 AND and OR

Input表示输入图像，Mask表示需要显示的图像（白色代表显示，黑色代表不显示）。将它们逻辑与后，即可得到想要显示的部分的图像。

![image.png](/static/img/d8f34a2f4be83ae2025725109ed59666.image.png)

# 均值降噪 Averaging to Reduce Noise

假设：

- 真实的无噪声的图像是：$g(x,y)$
- 实际能观测到的图像是：$f_i(x,y)=g(x,y)+n_i(x,y)$
  
  对于每一个 $i=1,...N$，$n_i$ 是零均值，独立同分布（independent and identically distributed）的噪声图像。

那么，我们将能够得到：

$$
E[f_i(x,y)]=g(x,y) \\
VAR[f_i(x,y)]=VAR[n_i(x,y)=\sigma^2(x,y)]
$$

通过求平均值，我么能够得到：

![image.png](/static/img/6ba06bfcc8c6472141522c4fe520ea96.image.png)

以下是不同参数下的降噪示例：

![image.png](/static/img/a10e9b1500651c60fd597a083e761930.image.png)


# 考试例题 Example Exam Question

Which one of the following statements about intensity transformations is incorrect?

A. Contrast stretching linearly maps intensities between two values to the full output range.

B. Log transformation maps a narrow range of high intensities to a wider range of output values.

C. Power transformation can map intensities similar to log and inverse log transformations.

D. Piecewise linear transformations can achieve contrast stretching and intensity slicing.

> 答案是B。对数变换是将低强度值的窄范围映射到输出值的较宽范围内的。
> 在对数变换中，通常将低强度值的窄范围映射到较宽的输出值范围，从而增强图像中暗部区域的细节。相反，高强度值在对数变换中通常不会有显著的变化，因为对数变换对高值的拉伸效果较弱。

COMP9517 Week 1 Image Processing Basics

24T2选了一节关于人工智能的课程，即COMP9517计算机视觉。之后会将笔记分周记录下来。



# 色彩表现形式

## 色彩空间RGB

![image.png](/static/img/9ee91c32299cf1d735238773101fc696.image.png)

RGB图像是一种使用红（Red）、绿（Green）和蓝（Blue）三种基本颜色来表示颜色的图像。这三种颜色的不同组合和强度可以产生广泛的颜色范围。

RGB颜色模型是一种加色模型，表示通过混合不同强度的红、绿、蓝光来产生其他颜色。每种颜色的值通常在0到255之间，0表示没有该颜色，255表示该颜色的最大强度。

RGB图像的颜色深度通常为24位（8位红色，8位绿色，8位蓝色），这允许表示大约1670万种不同的颜色。

:::note{title="注"}
在RGB颜色模型中，“通道强相关性”（strongly correlated channels）是指RGB三个颜色通道之间的相互依赖性，这会导致一些问题和局限性。

1. 颜色空间不独立：在RGB颜色模型中，红、绿、蓝三种颜色通道不是独立的。一个颜色的改变可能会影响其他两个通道，这种相互依赖性使得颜色操作变得复杂。例如，要调整一个颜色的亮度，可能需要同时调整所有三个通道的值。

2. 色彩表示不直观：由于RGB颜色空间是基于物理光源的混合，而不是人类视觉的感知模型，因此并不直观。人眼对颜色的感知更接近于其他颜色空间（如HSV、Lab），这些颜色空间的通道之间相对独立，更适合色彩分析和处理。

3. 压缩和存储效率：在图像压缩和存储中，通道的相关性会导致冗余信息增加。图像压缩算法（如JPEG）通常需要额外的步骤来处理这种相关性，以达到更高的压缩效率。

4. 颜色转换复杂：在许多图像处理任务中，需要将RGB图像转换为其他颜色空间（如YCbCr、HSV）来简化处理和分析。然而，这种转换需要额外的计算，并且在某些情况下可能会导致颜色信息的损失或失真。
:::

## 色彩空间HSV

![image.png](/static/img/6151b72943102d991a8b06f4344be9f9.image.png)

HSV色彩空间是一种将颜色表示为色相（Hue）、饱和度（Saturation）和明度（Value）的颜色模型。与RGB颜色模型不同，HSV颜色空间更符合人类对颜色的感知方式，因此在图像处理和计算机视觉中有广泛应用。

**色相（Hue, H）：**

- 表示颜色的种类或基本色调，例如红色、蓝色、黄色等。
- 色相通常以角度表示，从0度到360度。0度表示红色，120度表示绿色，240度表示蓝色。

**饱和度（Saturation, S）：**

- 表示颜色的纯度或浓度，饱和度越高，颜色越纯，饱和度越低，颜色越灰。
- 饱和度的取值范围从0到1（或0%到100%），0表示灰色（无色），1表示纯色。

**明度（Value, V）：**

- 表示颜色的亮度或明暗程度，明度越高，颜色越亮，明度越低，颜色越暗。
- 明度的取值范围从0到1（或0%到100%），0表示黑色（无亮度），1表示白色或该色相的最亮颜色。


:::note{title="注"}
在HSV色彩空间中，通道之间的“混淆”（confounded channels）问题指的是色相（Hue）、饱和度（Saturation）和明度（Value）之间的某些相互依赖性，这可能会导致一些问题和局限性。

1. 颜色边界不一致：在HSV色彩空间中，某些颜色的边界不是很明确。特别是当饱和度和明度接近于0时，色相变得不确定。例如，纯白色、纯黑色和不同灰度级别的颜色在色相上没有明确的定义，因为它们不具有特定的颜色。

2. 非线性变化：HSV色彩空间中的变化并不是线性的。例如，小幅度的明度或饱和度变化可能会对视觉效果产生较大的影响，而在某些范围内，变化的影响又可能较小。这种非线性特性使得在某些图像处理任务中处理起来更为复杂。

3. 相互依赖性：尽管HSV色彩空间比RGB在某些方面更符合人类感知，但色相、饱和度和明度之间仍然存在一定的相互依赖性。例如，改变明度可能会影响颜色的感知，尤其是在低饱和度的情况下。

4. 亮度和色相的耦合：在某些情况下，特别是低饱和度或高明度情况下，色相的变化可能会导致颜色的感知不准确。这是因为在极端情况下，明度和饱和度的影响会掩盖色相的变化。

5. 色彩校正的复杂性：在需要精确色彩校正和匹配的场景中，HSV色彩空间的通道混淆可能会带来一些复杂性。比如，在色彩校正和匹配中，需要对三个通道进行综合考虑，可能需要更复杂的算法。
:::

## 色彩空间YCbCr

![image.png](/static/img/f3a52096571064e622f1a59c805fdb5e.image.png)

CbCr是一种用于视频和图像处理的色彩空间，它将颜色分解为亮度（Luminance，Y）和两个色度（Chrominance，Cb和Cr）分量。这种色彩空间特别常用于视频压缩（如JPEG和MPEG）和电视广播。

**亮度（Luminance, Y）：**

- 表示图像的亮度信息，是人眼对图像亮暗程度的感知。
- 亮度分量Y主要基于RGB颜色模型中的绿分量，因为人眼对绿色最敏感。

**色度（Chrominance, Cb和Cr）：**

- Cb（蓝色差分量）：表示蓝色与亮度的差异。
- Cr（红色差分量）：表示红色与亮度的差异。
- 色度分量主要用于表示颜色信息，而不是亮度。


:::info{title="优点"}
1. 分离亮度和色度信息：YCbCr色彩空间将亮度和色度分离，这使得在视频压缩和处理时，可以独立处理亮度和色度。例如，人眼对亮度的敏感度高于色度，因此可以在压缩时减少色度的分辨率，而不显著影响视觉质量。

2. 视频压缩效率高：由于YCbCr色彩空间的这种特性，许多视频压缩标准（如JPEG、MPEG、H.264）都采用了YCbCr色彩空间来提高压缩效率。

3. 兼容性：YCbCr色彩空间与传统电视广播和视频设备高度兼容，是彩色视频信号的标准表示方法。
:::

## 色彩空间 L\*a\*b\*

![image.png](/static/img/2d625b4983fc172a12f66c8694cd531b.image.png)

L\*a\*b\*色彩空间（也称为CIELAB色彩空间）是一种基于人类视觉感知的色彩模型，由国际照明委员会（CIE）定义。

**L\*（亮度，Lightness）：**

- 表示颜色的明暗程度，范围从0到100。0表示黑色，100表示白色。
- 这个分量与人眼对亮度的感知一致。

**a\*（红绿轴，Green-Red）：**

- 表示颜色在绿色到红色之间的变化，正值表示颜色偏红，负值表示颜色偏绿。
- 通常范围从-128到127。

**b\*（黄蓝轴，Blue-Yellow）：**

- 表示颜色在蓝色到黄色之间的变化，正值表示颜色偏黄，负值表示颜色偏蓝。
- 通常范围从-128到127。


> Any numerical change corresponds to similar perceived change in color: Euclidean distances make sense.

这句注释的意义在于下面的特点部分的“感知均匀性”。


:::info{title="特点"}
1. 感知均匀性：L\*a\*b\*色彩空间的设计目标是使相同数值差异对应于人眼感知到的相同颜色差异，这使得在色彩调整和色差计算时更为准确。

2. 独立性：亮度（L\*）与色度（a\*和b\*）是独立的，这意味着可以分别调整颜色的明度和色调，而不会互相影响。

3. 设备无关性：L\*a\*b\*色彩空间是一种设备无关的色彩模型，不依赖于具体的显示设备、照明条件或观察者，使得颜色的表示和交换更加一致和可靠。
:::

# 考试例题 Example Exam Question

Which one of the following statements about colour spaces is incorrect?

A. The R, G, and B channels of the RGB colour space are often correlated.

B. The H and the S channel of the HSV colour space are confounded.

C. The Y channel of the YCbCr colour space represents the brightness.

D. The a\* channel of the L\*a\*b\* colour space is the green-blue component.

> 答案是D。在L\*a\*b\*中，a\*的通道掌握着green-red通道。