Shape features (Part 2)
- Basic shape features
- Shape context
- Histogram of oriented gradients (HOG)



# 特征编码 Feature Encoding
**特征编码**：
- **本地SIFT特征的全局编码**：
  - 将图像的本地SIFT关键点描述符组合成一个全局向量

**图解说明**：
- 图像I中选取若干个位置的图像块（如位置i和位置j）。
- 提取每个图像块的本地特征（如SIFT关键点描述符）。
- 将这些本地特征组合，形成图像I的全局表示$\Phi(I)$。
        
    ![image.png](/static/img/03360f91c6f9ced28abcc69107e1e048.image.png)

- **最流行的方法：词袋模型（BoW）**：
  - 本地图像特征的数量可变
  - 编码成固定维度的直方图

**流程图解**：

1. **训练阶段**：
   - **训练集**：
     - 从训练集中提取SIFT特征。
     - 对特征进行采样和聚类，生成词汇（Vocabulary）。
     - 构建训练集的直方图。
     - 使用SVM（支持向量机）训练模型（分类器）。

2. **测试阶段**：
   - **测试集**：
     - 从测试集中提取SIFT特征。
     - 使用训练阶段生成的词汇构建测试集的直方图。
     - 使用训练好的分类器对直方图进行分类，生成标签。

![image.png](/static/img/4c107fc55024bfd4b075a924e91e7219.image.png)

这种方法通过将本地特征编码成固定维度的直方图，能够有效地处理图像分类和检索等任务。


# 形状特征 Shape Features

- **形状**是物体的一个基本特征。
- 形状特征通常在图像分割之后提取。
- 它们可以用于识别和分类物体。

**定义形状特征的挑战**：

- **对刚性变换不变**：
  - 形状特征应当对旋转、缩放和平移等刚性变换保持不变。
  
- **容忍非刚性变形**：
  - 形状特征应当能够容忍某些非刚性变形，例如弯曲和拉伸等。

- **未知的对应关系**：
  - 形状特征之间可能没有明确的对应关系，这增加了匹配和识别的难度。

![image.png](/static/img/1a8b358abd7bc1271dd140519ee60aa6.image.png)

## 形状特征基础 Basic Shape Features

### **一些简单的几何形状描述符**：

1. **净面积 (Net Area)**：
   - 形状的实际面积。

2. **主轴 (Principal Axes)**：
   - 包括长轴 (Major Axis) 和短轴 (Minor Axis)。
   - 形状的长轴是通过形状的最长直径定义的，而短轴则是垂直于长轴的最短直径。

3. **凸面积 (Convex Area)**：
   - 包围该形状的凸包的面积。
   - 凸包是指能够完全包围形状的最小凸多边形。

![image.png](/static/img/a510544023d48483c642c54ba32de1dd.image.png)

### **凸性和凹性的基本概念**：

**物体的凸性与凹性 (Convexity versus Concavity of an Object)**：
   - 当物体的任意两点之间的直线完全包含在物体内部时，该物体被称为凸 (Convex)。
   - 如果存在两点之间的直线部分不在物体内部，则该物体被称为凹 (Concave)。

**物体的凸包 (Convex Hull of an Object)**：
   - 包含该物体的最小凸集合。
   - 凸包是指能够完全包围形状的最小凸多边形。

**物体的凸缺陷 (Convex Deficiency of an Object)**：
   - 凸包与物体之间的差集。
   - 这是指从凸包中去掉原物体所剩下的部分。

![image.png](/static/img/474f0e09b545c5d5cce11f1a5a80394d.image.png)

### **物体的形状特征**：

1. **紧致度 (Compactness)**：
   - 公式：$ \text{Compactness} = \frac{\text{Area of the object}}{\text{Area of a circle with the same perimeter}} $
   - 描述物体的面积与具有相同周长的圆的面积的比值。

2. **圆度 (Circularity)**：
   - 公式：$ \text{Circularity} = \frac{4\pi \times \text{Area of the object}}{\text{Perimeter}^2} $
   - 描述物体的面积乘以 $4\pi$ 后与其周长的平方的比值。
   - 对于圆形来说，这个比值为1。

![image.png](/static/img/961e2f0c420d10a196f82c3cc5fd797e.image.png)

3. **延伸度 (Elongation)**：
   - 公式：延伸度 = 物体包围盒的长度与宽度之比
   - 描述物体的包围盒（即最小外接矩形）的长度和宽度的比值，用于衡量物体的细长程度。

4. **偏心率 (Eccentricity)**：
   - 公式：偏心率 = 短轴长度与长轴长度之比
   - 描述物体的短轴（minor axis）长度与长轴（major axis）长度的比值，用于衡量物体形状的扁平程度。

![image.png](/static/img/6b19e4874f4bb9672dacc67a51bef478.image.png)

## 轮廓描述符 Boundary Descriptors

### **链码描述符（Chain code descriptor）**：

1. **链码描述符的定义**：
   - 通过连续边界点的相对位置表示物体形状。
   - 由一个从起始点开始的方向列表组成。
   - 提供了一个紧凑的边界表示。

2. **示例**：
   - 给出了一个示例，其中边界按照特定的方向编码成链码。
   - 例子中的链码为：6, 7, 0, 1, 1, 0, 7, 7。

![image.png](/static/img/718de536cbd43873a7d69c554a362c3b.image.png)

### **局部曲率描述符（Local curvature descriptor）**：

1. **定义**：
   - 物体的曲率是局部形状特征。
   - 凸（相对于凹）部分具有正（相对于负）曲率。

2. **图示**：
   - 图中展示了一个物体的形状和对应的曲率图。
   - 曲率图显示了曲率 $\kappa$ 随着路径 $s$ 的变化，其中凸部分对应正曲率，凹部分对应负曲率。

![image.png](/static/img/c6a117e1263d6cd686b4e56917616aa0.image.png)

这张幻灯片展示了局部曲率的两种解释：

1. **几何解释（Geometrical interpretation）**：
   - 曲率 $\kappa(s)$ 可以表示为曲率半径 $r(s)$ 的倒数：$\kappa(s) = \pm \frac{1}{r(s)}$。
   - 在几何解释中，曲线的内部对应正曲率，外部对应负曲率。

2. **物理解释（Physical interpretation）**：
   - 曲率 $\kappa(s)$ 可以表示为切线向量 $\tau(s)$ 随弧长 $s$ 的变化率：$\kappa(s) = \pm \left\| \frac{d\tau(s)}{ds} \right\|$。
   - 物理解释中，通过计算切线向量变化率来确定曲率。

![image.png](/static/img/ed60c6bd37a06355b147b6e8e72ed582.image.png)

### **全局曲率描述符（Global Curvature Descriptors）**：

1. **总弯曲能量（Total bending energy）**：
   - 公式：$ B = \oint_C \kappa^2(s) \, ds $
   - 描述：表示将杆弯曲成该轮廓所需的物理能量。
   - 特点：圆形物体具有最小的轮廓弯曲能量，$ B = 2\pi / r $。

2. **总绝对曲率（Total absolute curvature）**：
   - 公式：$ K = \oint_C |\kappa(s)| \, ds $
   - 描述：物体轮廓沿曲线的曲率绝对值的积分。
   - 特点：凸物体具有最小的总绝对曲率，$ K = 2\pi $。

这两个全局曲率描述符帮助我们量化和比较不同形状的整体弯曲程度和曲率特性。

### **径向距离描述符**（Radial distance descriptor）：

- **计算方法**：
  - 使用形状的质心 $ C $ 作为参考点，计算其边界上所有 $ N $ 个像素 $ i$  到质心的径向距离 $ d $。
  - 通过将 $ d(i) $ 正规化为最大距离来实现尺度不变性，得到径向距离 $ r(i) $。

- **应用**：
  - 信号 $ r(i) $ 穿过其均值的次数可以用作边界粗糙度的度量。

径向距离描述符通过分析形状边界上各点到质心的距离，帮助我们理解和量化形状的边界特性。

![image.png](/static/img/976abab2e44cccb23977a6ece455fc16.image.png)

## 形状特征的应用举例

- **结合特征描述符来分类对象**：
  - 通过结合不同的特征描述符（如面积和圆形度），可以对对象进行分类。
  - 幻灯片左侧的图像展示了红色和绿色的不同形状对象。
  - 右侧的散点图用面积和圆形度两个特征来表示这些对象。通过在图中标记不同对象的位置，可以根据这些特征对它们进行分类。
  - 例如，绿色区域表示某些特定特征的对象，其他对象则根据它们的特征值分布在图的不同位置。

这种方法利用多个特征来进行对象的识别和分类，提供了一种直观而有效的形状分析手段。

![image.png](/static/img/395876f068ccb97abe45e748b3931f06.image.png)

# 形状上下文（Shape Context）

是一种基于点的局部特征描述符。

- 从形状的轮廓上选择 $ n $ 个点 $ p_i $。
- 对于每个点，制作一个相对坐标直方图 $ h_i $，包含其他 $ n-1 $ 个点的相对坐标。
- 这就是点 $ p_i $ 的形状上下文。

![image.png](/static/img/06bd050167b92b1b18217fab6d1d8ff6.image.png)

## 形状匹配 Shape Matching

### 步骤1

在形状边缘上采样一系列点。举例来说，可以使用Canny边缘检测器来完成这一任务。

**步骤包括：**
1. **高斯滤波（Gaussian filtering）**：平滑图像以减少噪声。
2. **强度梯度（Intensity gradient）**：计算图像中像素点的梯度强度和方向。
3. **非极大值抑制（Non-maximum suppression）**：细化边缘，保留梯度幅值最大的像素点。
4. **滞后阈值处理（Hysteresis thresholding）**：使用双阈值方法确定强边缘和弱边缘，并连接边缘。
5. **边缘跟踪（Edge tracking）**：通过连接强边缘像素和弱边缘像素，追踪完整的边缘。

通过这些步骤，可以在图像中提取出清晰的边缘，这些边缘上的点可以用于后续的形状匹配过程。

这张幻灯片介绍了形状匹配的第二步和第三步。

### 步骤2

计算每个点的形状上下文。

$$
h_i(k) = \#\{q \neq p_i : (q - p_i) \in \text{bin}(k)\}
$$

这意味着对于每个点 $ p_i $，计算其他 $ n - 1 $ 个点相对于 $ p_i $ 的坐标，并将其放入一个直方图 $ h_i $ 中。

### 步骤3

计算两个形状 $ P $ 和 $ Q $ 之间的代价矩阵。

$$
c_s(p, q) = \frac{1}{2} \sum_{k=1}^{K} \frac{[g(k) - h(k)]^2}{g(k) + h(k)}
$$

其中，$ g $ 是形状 $ P$ 中点 $ p $ 的形状上下文，$h$ 是形状 $ Q $ 中点 $ q$ 的形状上下文。

这一步的目的是通过计算形状上下文之间的差异来衡量两个形状之间的相似性。代价矩阵 $ c_s(p, q) $ 表示了形状 $ P $ 和形状 $ Q $ 之间的匹配代价。


![image.png](/static/img/341e2cab606d96a86cd3e9cafb6a29ab.image.png)


### 步骤4

**第四步：找到使点对之间总成本最小的一对一匹配**

$$
H(\pi) = \sum_{i} c_s(p_i, q_{\pi(i)}) 
$$

这意味着通过最小化形状 $ P $ 和 $ Q$ 之间的匹配代价 $ c_s(p_i, q_{\pi(i)}) $，找到点之间的一对一匹配。

### 步骤5

**第五步：基于一对一的点匹配将一个形状转换为另一个形状**
- 选择所需的变换（例如仿射变换）
- 应用最小二乘法或 RANSAC 拟合
- 这将产生最优变换 $$ T $$

这一步的目的是根据第四步中的匹配结果，将一个形状通过所选的变换方法转换为另一个形状，从而使它们尽可能地对齐。




# 方向梯度直方图 Histogram of Oriented Gradients，HOG

- HOG 描述了在局部区域内梯度方向的分布。
- HOG 不需要初始分割，这意味着它可以直接在整个图像上计算，而不需要先进行图像的分割处理。

HOG 特征主要用于对象检测等任务，通过捕捉图像中局部梯度方向的分布来表征图像的纹理和形状信息。

![image.png](/static/img/86e7949d6e7e74f6dc2833332d17a2d7.image.png)

## 处理步骤

**步骤 1：计算每个像素点的梯度向量**
- 梯度幅度：表示梯度的强度。
- 梯度方向：表示梯度的方向。

在输入图像中，每个像素点的梯度向量是通过计算其梯度幅度和梯度方向得到的。这些梯度信息可以用来表示图像中局部区域的变化，帮助捕捉图像的边缘和纹理特征。

![image.png](/static/img/e708f651ba8b717e30907cea41c54829.image.png)

**步骤 2：构建单元格内所有像素的梯度直方图**

- 将方向划分为 $ N $ 个箱（通常 $ N = 9 $ 个箱，将 180 度平均分割）。
- 将每个像素的梯度幅度分配到对应其方向的箱中。

在输入图像中，每个单元格中的像素梯度方向会被分配到不同的箱中，形成一个梯度直方图。这个直方图反映了该单元格内不同方向梯度的分布情况，有助于描述图像的局部特征。

![image.png](/static/img/2683570c6a6358f416d60793cc123044.image.png)

**步骤 3：生成检测窗口级别的 HOG 描述符**

- 连接单元格直方图
- 对单元格直方图进行块归一化

具体过程如下：

1. 将每个单元格的梯度直方图连接起来，形成一个长的特征向量。
2. 将这些特征向量进行归一化处理，以减少光照和对比度变化的影响。

在这张幻灯片中，以一个 $7 \times 15$ 的检测窗口为例，每个单元格的尺寸为 $8 \times 8$ 像素，每个块包含 $2 \times 2$ 个单元格。特征计算如下：
- 每个单元格有 9 个方向箱（orientation bins）。
- 总共有 $7 \times 15$ 个块，每个块包含 4 个单元格。
- 因此，总特征数为 $(7 \times 15) \times 9 \times 4 = 3,780$。

这一步生成的检测窗口级别的 HOG 描述符可以用于对象检测和识别任务中。

![image.png](/static/img/58cea0ea36071a22f75f92ea44dcd0f7.image.png)

![image.png](/static/img/9acdfadab92843b2eb7aca5b67cc248d.image.png)

## HOG操作

**通过滑动窗口在图像上进行检测**

1. **检测窗口 (Detection Window)**：在图像上定义一个固定大小的检测窗口，这里使用的是 $7 \times 15$ 块的窗口。
2. **块 (Block)**：每个块包含 $2 \times 2$ 个单元格，每个单元格的大小为 $8 \times 8$ 像素。
3. **滑动窗口 (Sliding Window)**：将检测窗口在图像上滑动，以不同的位置提取特征。每次滑动的步长通常是一个单元格的宽度。

通过在图像上滑动窗口，可以在不同的位置提取特征直方图，从而进行对象检测。这种方法可以确保整个图像区域都被检测到，适用于检测多种不同大小和位置的目标对象。

![image.png](/static/img/f91706f87730952f5e5ed485fc06c19f.image.png)


1. **计算HOG描述符**：从训练数据集中计算许多示例窗口的HOG描述符。
2. **手动标记**：将每个示例窗口手动标记为“person”或“background”。
3. **训练分类器**：从这些示例窗口及其标签中训练一个分类器（如SVM）。
4. **预测标签**：对于每个新的（测试）图像，使用该分类器预测每个窗口的标签。

通过这种方法，可以使用训练好的分类器对新图像进行对象检测，识别出图像中的人物或背景。

![image.png](/static/img/0a160c53d7d0549978b4c384e70b13c4.image.png)

## HOG 应用举例

**图像中检测人像**

![image.png](/static/img/f77803bdb6d1d65e0d6e7d4ce341a187.image.png)

**在视频中检测并追踪人像**

![image.png](/static/img/63615825b83e84a937dea233cc0991d1.image.png)

**使用可变形零件模型进行细粒度检测（Fine-grained detection using deformable parts model）**

![image.png](/static/img/a7c0a1f94d4e74f7e42db5a199e60c60.image.png)

# 例题

Given the image on the right showing the result of a segmentation of various objects and the desired classification of these objects. The two different colours (red and green) indicate the two different classes which the objects are to be assigned to. A straightforward way to perform classification is by computing the value of a quantitative shape measure for each object and then thresholding those values. Suppose we compute the circularity and the eccentricity. Which of these two measures can be used to produce the shown classification?

![image.png](/static/img/df78e8a54681880e7233d42103757852.image.png)

A. Only circularity

B. Only eccentricity

C. Both circularity and eccentricity

D. Neither circularity nor eccentricity


:::info{title="相关信息"}
根据图片中的对象，红色对象是接近圆形的，而绿色对象则是更细长和弯曲的。这表明我们可以利用对象的形状特征来进行分类。

圆形度（circularity）是用于描述一个对象接近圆形的程度，所以红色对象会有较高的圆形度，而绿色对象的圆形度较低。

偏心率（eccentricity）是用于描述一个对象的细长程度，细长的对象会有较高的偏心率，而接近圆形的对象偏心率较低。

因此，基于圆形度和偏心率的组合可以将这些对象正确分类为红色和绿色对象。

所以，正确答案是：

C. Both circularity and eccentricity
:::

COMP9517 Week 3 Feature Representation Part 2

COMP9517 Week 3 Feature Representation Part 1

- **Describe the workings of neighborhood operations**
    
    Convolution, spatial filtering, linear shift-invariant operations, border problem
- **Understand the effects of various filtering methods**
    
    Uniform filter, Gaussian filter, median filter, smoothing, differentiation, separability, pooling
- C**ombine filtering operations to perform image enhancement**
    
    Sharpening, unsharp masking, gradient vector & magnitude, edge detection

![image.png](/static/img/9e37314a430724ee4f7a5f4a8a62fcab.image.png)



# 对像素组使用空间滤波 Spatial Filtering on Groups of Pixels

使用输入图像中一个像素的灰度值以及其周围小区域内的灰度值来产生该像素在输出图像中的新灰度值。

这种方法也被称为滤波技术，因为根据应用于像素值的权重，它们可以抑制（滤除）或增强信息。

像素(x,y)的邻域通常是一个以(x,y)为中心的方形或矩形子图像，这个邻域可以被称为滤波器、掩膜、核、模板或窗口。

:::info{title="相关信息"}
在图像处理中，核（kernel）是用于图像滤波操作的一个小矩阵。核通常用来对图像进行卷积操作，以实现不同的图像处理效果，比如边缘检测、模糊、锐化等。每个核有特定的数值，这些数值决定了滤波操作的具体方式。
:::

使用输入图像中一个像素的灰度值以及其周围小区域内的灰度值来产生该像素在输出图像中的新灰度值。

这种方法也被称为滤波技术，因为根据应用于像素值的权重，它们可以抑制（滤除）或增强信息。

像素 (x,y) 的邻域通常是一个以 (x,y) 为中心的方形或矩形子图像，这个邻域可以被称为滤波器、掩膜、核、模板或窗口。

典型的核大小是 3×3 像素、5×5 像素、7×7 像素，但也可以更大，并且可以有不同的形状（例如，圆形而不是矩形）。

# 边界问题解决方法 Fixing the Border Problem

通过扩展图像到原始边界之外来解决边界问题，可以使用以下几种方法：

- 填充（Padding）：将所有附加像素设置为一个常数（通常为零）。这种方法会导致硬边界过渡，产生边界伪影（需要窗口化处理）。
- 夹持（Clamping）：无限期地重复所有边界像素值。这种方法具有更好的边界表现，但任意性较强（没有理论基础）。
- 环绕（Wrapping）：从相对一侧复制像素值。这种方法隐含用于快速傅里叶变换。
- 镜像（Mirroring）：在边界处反射像素值。这种方法平滑、对称、周期性，没有边界伪影。

![image.png](/static/img/335bf3c64208c35cb41444b3db7c6f8b.image.png)

# 卷积空间滤波 Spatial Filtering by Convolution

输出图像$o(x,y)$是输入图像 $f(x,y)$ 和核 $h(x,y)$ 经过离散卷积计算得到的：

$$
o(x,y) = \sum_{i=-n}^n\sum_{j=-m}^mf(x-i,y-j)h(i,j)
$$

![image.png](/static/img/257bf630359126582fba1e947b4d3cc1.image.png)

卷积是一种线性的、平移不变的操作：

- 线性（Linearity）：如果输入$f_1(x,y)$产生输出$g_1(x,y)$，输入$f_2(x,y)$产生输出$g_2(x,y)$，那么输入的线性组合$a_1f_1(x,y)+a_2f_2(x,y)$讲产生相同的输出组合$a_1g_1(x,y)+a_2g_2(x,y)$。
- 平移不变性（Shift Invariance）：如果输入$f(x,y)$产生输出$g(x,y)$，那么平移以后的输入$f(x-\Delta x, y-\Delta y)$将产生平移以后的输出$g(x-\Delta x, y-\Delta y)$。换句话说，该操作不区分空间位置。


:::info{title="卷积的性质"}
对于任意一组图像（函数）$f_i$，卷积操作$*$应当满足于如下性质：

- 交换性（Commutativity）：$f_1*f_2=f_2*f_1$
- 结合性（Associativity）：$f_1*(f_2*f_3)=(f_1*f_2)*f_3$
- 分配性（Distributivity）：$f_1*(f_2+f_3)=f_1*f_2+f_1*f_3$
- 可乘性（Multiplicativity）：$a \cdot (f_1*f_2)=(a\cdot f_1)*f_2=f_1*(a\cdot f_2)$
- 求导（Derivation）：$(f_1*f_2)'=f_1'*f_2=f_1*f_2'$
- 定理（Theorem）：$f_1*f_2 \leftrightarrow \hat{f_1} \cdot \hat{f_2}$

最后一个定理说明了在空间域的卷积相当于在频域的乘法。下次会讲到。
:::

# 最简单的平滑滤波器 Simplest Smoothing Filter

计算一个邻域 $N$ 中像素的平均值，其中 $|N|$ 是邻域中的像素数量，公示如下：

$$
g(x,y)=\frac{1}{|N|}\sum_{(i,j)\in N}f(x+i,y+j)
$$

- 通常用于图像模糊和噪声减少。
- 减少由于图像采集中的干扰引起的波动。
- 邻域平均也会模糊图像中的物体边缘。
- 可以使用加权平均来使某些像素更重要。
- 也被称为均匀滤波器（Uniform Filter），因为它隐含地使用了均匀的核。

![image.png](/static/img/511cb3e145c83e665f8b95785b86f34b.image.png)

图片展示了不同核大小对图像的平滑效果，从左到右依次是原图、3x3滤波后的图像、5x5滤波后的图像和7x7滤波后的图像。可以看到，随着核的大小增加，图像变得越来越平滑。

# 高斯滤波器 Gaussian Filter

高斯滤波器是最重要的基本图像滤波器之一。公式为：

$$
g_\sigma(x,y)=\frac{1}{2\pi \sigma ^2}e^{-\frac{x^2+y^2}{2\sigma ^2}}
$$

其中， $\sigma$ 是标准差，决定了滤波器的宽度。

![image.png](/static/img/43cebeeebe7daf5fa442a80598a7072b.image.png)

三维图像展示了高斯函数的三维形状，显示了其中心高、边缘低的钟形曲线特性。

![image.png](/static/img/a6fff80b7938a50ab54518b3879f2c57.image.png)

图像展示了不同尺寸和不同$\sigma$值的高斯核的图示，展示了高斯核的二维分布特性，核中心的值最大，离中心越远的值越小。

## 高斯滤波器的特性

- 它是唯一既可分离又圆对称的滤波器。
- 它在空间域和频域中具有最佳的联合定位能力。
- 高斯函数的傅里叶变换也是一个高斯函数。
- 任何低通滤波器的n次卷积都会收敛到一个高斯函数。
- 它是无限平滑的，因此可以被任意次微分。
- 它自然地按比例缩放（即$\sigma$，并且允许一致的尺度空间理论。）

![image.png](/static/img/aee1502bafa8f4346fe3380e8a0bf18e.image.png)

![image.png](/static/img/b30bb8dca8228bee7dd8a93c7f51ca27.image.png)

# 中值滤波器 Median Filter

- 中值滤波器是一种排序统计滤波器（order-statistics filter），基于像素值的排序和排名。
- 计算邻域 N 中像素值的中值，其中 ∣N∣ 表示邻域中的像素数量。
- 一组有序值的中值 m 是中间值。
- 集合中最多一半的值小于m，另一半的值大于m。
- 如果值的数量为偶数，中值通常取两个中间值的算术平均值。

![image.png](/static/img/d73b1b75fb97fbc25d89dc94b2fe6efe.image.png)

另外，还有一些滤波器。取最小值或最大值而不是中值，分别称为最小滤波（min-filtering）和最大滤波（max-filtering）。

![image.png](/static/img/8ea59874c7c7f909d8d0e794da099f55.image.png)

## 中值滤波器的特性

- **强制具有不同强度的像素变得更像它们的邻居：**

    中值滤波器通过将像素值替换为邻域内的中值，使得孤立的极端值变得与周围像素更一致。
- **消除孤立的强度尖峰（如“椒盐”噪声）：**
    
    中值滤波器特别有效地去除孤立的高强度或低强度噪声点，而不会显著模糊图像。
- **邻域通常是 $n \times n$ 像素大小，其中 $n=3,5,7,...$:**

    滤波器的窗口大小一般为奇数，以确保中值计算的对称性。
- **消除小于 $n^2/2$ 面积的像素簇（亮的或暗的）：**
    
    中值滤波器不仅能去除单个噪声点，还能消除面积较小的噪声簇。
- **它不是卷积滤波器，而是非线性滤波器的一种：**
    
    与线性滤波器（如卷积滤波器）不同，中值滤波器基于排序操作，是一种非线性滤波器。

![image.png](/static/img/1cd5788032202fe28e3602e77c88ca5c.image.png)

# 高斯滤波 VS 中值滤波

高斯滤波在保留小物体方面表现优越，因此在需要保留图像细节的小物体时使用高斯滤波效果更好。

中值滤波在去除小噪点方面表现出色，因此在需要消除图像中的小噪点时使用中值滤波效果更好。

![image.png](/static/img/fdb89132f7bf650319a40f0424fdc9b4.image.png)

# 通过反锐化掩模进行锐化 Sharpening by Unsharp Masking

1. 输入图像：左上角是输入的原始图像。
2. 高斯滤波：对输入图像进行高斯滤波，得到一个模糊的图像（左下角）。
3. 高频成分提取：将输入图像减去高斯滤波后的图像，得到高频成分（中间的图像）。这个步骤提取了图像中的边缘和细节信息。
4. 调整高频成分：对高频成分乘以一个系数 $\alpha$ 以控制锐化的强度。
5. 图像相加：将调整后的高频成分加回原始图像，得到锐化后的输出图像（右上角）。
6. 效果对比：右下角的两个小图分别展示了原图（绿色框）和锐化后的图像（红色框）在细节上的区别，可以看到，锐化后的图像边缘更加清晰。

反锐化掩模通过去除图像的低频成分（模糊部分），并增强高频成分（细节部分）来实现图像锐化。这种方法可以有效提高图像的清晰度，使得边缘和细节更加突出。

![image.png](/static/img/116c0b674e8ec3d1b5728322562b1cd6.image.png)

# 池化 Pooling

- 池化结合了滤波(Flitering)和下采样(Downsampling)的操作：
    
    池化操作同时进行数据的过滤和下采样，将图像尺寸缩小的同时减少计算量。

- 池化操作的例子包括最大池化、最小池化、中值池化和平均池化：

    最大池化（max pooling）：取池化窗口中的最大值。
    
    最小池化（min pooling）：取池化窗口中的最小值。
    
    中值池化（median pooling）：取池化窗口中的中值。
    
    平均池化（average pooling）：取池化窗口中的平均值。

- 池化使图像变小并减少计算量：

    通过下采样，池化操作减少了特征图的尺寸，从而降低了后续处理的计算复杂度。

- 池化在深度卷积神经网络中非常流行：

    池化层在卷积神经网络（CNN）中广泛使用，帮助模型在减少计算量的同时保留重要的特征。

![image.png](/static/img/bb629aaceb524d28e9d3c03a096d27c0.image.png)

# 导数滤波器 Derivative Filter

用于图像的梯度域滤波。

- 梯度域滤波：

    导数滤波器用于在梯度域进行滤波，响应强度变化（如物体边缘）。
- 空间导数响应于强度变化：

    在数字图像中，空间导数用于检测图像中强度的变化。
- 数字图像中通过有限差分法近似导数：

    在图像处理中，导数通过有限差分（finite differences）方法进行近似计算。

## 不同的有限差分法

### 前向差分 Forward Difference

$$
\frac{\partial f}{\partial x} \approx f(x+1) - f(x)
$$

核：$[1, -1]$

### 后向差分 Backward Difference

$$
\frac{\partial f}{\partial x} \approx f(x) - f(x-1)
$$

核：$[1, -1]$

### 中心差分 Central Difference

$$
\frac{\partial f}{\partial x} \approx f(x+1) - f(x-1)
$$

核：$[1, 0, -1]$

:::note{title="注"}
在卷积过程中，核是被翻转的。
:::

### 二阶空间导数

![image.png](/static/img/9ea30bfb1dde159c98e1d8d033185424.image.png)

### 高斯函数及其一阶和二阶导数的离散近似

- 高斯函数 $g(x)$ 用于平滑图像，表示为一个钟形曲线。
- 一阶导数用于检测图像中的边缘。
- 二阶导数用于检测图像中的变化率的变化，反映更细微的边缘信息。

![image.png](/static/img/78177441f850fca774b97cc345d827c3.image.png)

### 高斯滤波器核扩展到二维和不同空间尺度的应用

这些二维高斯导数核可以在图像处理中检测不同方向和不同尺度上的边缘和特征。

较小的核（如σ=1.0）适用于检测图像中的细节，而较大的核（如σ=3.0）则适用于检测较大的结构。

![image.png](/static/img/a27634f550503fd029550eb093ad65ac.image.png)


# Prewitt和Sobel核

用于图像边缘检测，通过在一个维度上进行差分，在另一个维度上进行平滑处理。

![image.png](/static/img/be93d70c5a9585445754d4b7501ac25c.image.png)

![image.png](/static/img/2ca9c6202c8f564223a1d93c6a48647d.image.png)

# 可分离滤波器核 Separable Filter Kernel

可分离滤波器核通过将二维卷积分解为两个一维卷积，显著减少了计算量。不同的滤波器核用于不同的图像处理任务，例如平滑和边缘检测。

![image.png](/static/img/84a28954f6410aac09961a80b499bae9.image.png)

通过分离滤波器核实现更高效的计算。

通过分离滤波器核，二维卷积可以分解为两个一维卷积。

通过将二维卷积分解为两个一维卷积，计算复杂度从17次操作每像素减少到10次操作每像素，实现了更高的计算效率。对于更大的核和三维图像，效率提升更加显著。

![image.png](/static/img/57afde59c0255c799acf1bed049a203b.image.png)

# 拉普拉斯滤波 Laplacian Filtering

拉普拉斯滤波是一种二阶导数滤波器，用于检测图像中的变化率。它的核是通过近似计算 $f_{xx}$ 和 $f_{yy}$ 的和来实现的。

注意，这里是直接暴力扩展：

$f_{xx}$ 扩展后：

$$
\begin{bmatrix}
0 & 0 & 0 \\
1 & -2 & 1 \\
0 & 0 & 0
\end{bmatrix}
$$

$f_{yy}$扩展后：

$$
\begin{bmatrix}
0 & 1 & 0 \\
0 & -2 & 0 \\
0 & 1 & 0
\end{bmatrix}
$$

![image.png](/static/img/d8509b676e875d75242cc3839a36a323.image.png)

## 拉普拉斯滤波的边缘检测

![image.png](/static/img/817e5f51502dc2c8380e151ec4ba9e21.image.png)

## 用拉普拉斯进行锐化 Sharpening using hte Laplacean

![image.png](/static/img/5d815bcb3218616fc72f7bd034a80016.image.png)

# 强度梯度向量 Intensity Gradient Vector

强度梯度向量表示图像中强度变化最剧烈的方向。数学上，它表示为二维向量：

$$
\begin{bmatrix}
f_x(x,y) \\
f_y(x,y)
\end{bmatrix}
$$

这两个指图像在x方向和y方向上的一阶导数。

- 梯度向量指向强度增加最快的方向。
- 梯度向量垂直于等值线（isophotes），即强度相同的线。

## 梯度幅值 Gradient Magnitude

梯度幅值表示梯度向量的长度，即局部强度变化的大小。数学上，它表示为：

$$
||\nabla f(x,y)||= \sqrt{f_x(x,y)^2+f_y(x,y)^2}
$$

- 梯度幅值表示梯度向量的长度。
- 它是局部强度变化的大小。

## 图像表示

![image.png](/static/img/e98edc620e9f3c823dda1dbd4869cc35.image.png)

- 图像显示了梯度向量的方向和等值线（isophotes）。
- 红色等值线表示图像中的等强度线。
- 蓝色箭头表示梯度向量的方向，指向强度增加最快的方向，并垂直于等值线。

## 梯度幅值的边缘检测

![image.png](/static/img/e1221dc314b52aa866de313bd2a1c981.image.png)

## 梯度域编辑 Gradient Doamin Editing

![image.png](/static/img/07d09612e4f6824a8671c54015673193.image.png)

# 选择合适的空间尺度

通过不同尺度的高斯导数核来计算图像的导数，可以得到不同细节层次的边缘信息。

第一行：通过阈值化局部最大值得到的边缘

- σ=1：细节丰富，边缘较多，噪声较多。
- σ=3：边缘信息减少，但仍有较多细节。
- σ=5：边缘清晰，细节适中（推荐的参数）。
- σ=7：边缘较粗，细节较少。
- σ=9：边缘最粗，细节最少。

第二行：通过找到 $∇^2f(x,y)$ 的零交叉点得到的边缘

## 性质

较小的σ值（如σ=1）会捕捉到更多的细节和噪声。

较大的σ值（如σ=9）会平滑图像，减少细节和噪声，但可能会丢失重要的边缘信息。

# 傅立叶域中的微分 Differentiation in the Fourier Domain

![image.png](/static/img/a108c608fc283583011597a6f01c4832.image.png)

# 考试例题 Example Exam Question

What is the effect of the 2D convolution kernel shown on the right when applied to an image?

![image.png](/static/img/94c794c6d2641279aca2dbe225da0b13.image.png)

A. It approximates the sum of first-order derivatives in x and y.
B. It approximates the sum of second-order derivatives in x and y.
C. It approximates the product of first-order derivatives in x and y.
D. It approximates the product of second-order derivatives in x and y.

> 答案选B。这个是拉普拉斯核的常见形式，用于近似计算图像的二阶导数之和，它是$f_{xx}$和$f_{yy}$经过二维暴力扩展后相加的产物。

![image.png](/static/img/452980e991369fa8c51b09304801236a.image.png)

COMP9517 Week 2 Image Processing Part 1

第一周的第二节课，讲述了CPP的一些基本用法。



# auto关键字

auto关键字允许编译器静态分析推断该类型，而不需要显式声明。

```cpp
int main()
{
    auto i = 0; // i is an int
    auto j = 8.5; // j is a double
    auto k = false; // k is a bool
    (void)i;
    (void)j;
    (void)k;
}
```

# const关键字

- const表示了无法被修改的一个变量
- 除非你知道它会被修改，不然任何变量都应当是const的
- 书写的规范是，const写在类型关键字的右侧

```cpp
int main()
{
    // `int` for integers.
    auto const meaning_of_life = 42;

    // `double` for rational numbers.
    auto const six_feet_in_metres = 1.8288;

    (void)meaning_of_life;
    (void)six_feet_in_metres;

    // meaning_of_life++; // COMPILE ERROR HERE
}
```

使用const关键字有以下几个原因：

- 更清晰的代码(你可以知道一个函数的只读权限)
- 不可变的对象更易被推理
- 编译器可以为不可变对象做优化
- 不可变对象在多线程环境中更有优势

# 类型转换

## 隐式类型转换

```cpp
#include <catch2/catch.hpp>

TEST_CASE()
{
    auto const i = 0;
    {
        auto d = 0.0;
        REQUIRE(d == 0.0);

        d = i; // Silent conversion from int to double
        CHECK(d == 42.0);
        CHECK(d != 41);
    }
}
```

当将int类型的i赋值给double类型的d时，发生了隐式类型转换。i的值为0，在赋值过程中被转换为double类型的0.0。

CHECK(d == 42.0)：由于i的值为0，因此在隐式转换后d的值也应该是0.0，而不是42.0。这一行断言会失败。

同样的，CHECK(d != 41);这一行断言也会失败，因为d的值是0.0，与41不相等。

## 显式类型转换

```cpp
#include <catch2/catch.hpp>

TEST_CASE()
{
    auto const i = 0;
    {
        // Preferred over implicit, since your intention is clear
        auto const d = static_cast<double>(i);
        CHECK(d == 42.0);
        CHECK(d != 41);
    }
}
```

# 函数

## 定义

两种定义法都可以，更推荐使用现代语法。

```cpp
#include <iostream>

auto main() -> int
{
    // put "Hello world\n" to the character output
    std::cout << "Hello, world!\n";
}
```
```cpp
#include <iostream>

int main() {
  // put "Hello world\n" to the character output
  std::cout << "Hello, world!\n";
}
```

## 参数

- 默认参数：函数可以使用默认参数，如果函数调用时没有指定实际参数，则使用默认参数。
- 默认值的位置：默认值用于函数调用中未指定的尾部参数，这意味着参数的顺序很重要。

```cpp
#include <string>

std::string rgb(short r = 0, short g = 0, short b = 0)
{
    (void)r;
    (void)g;
    (void)b;
    return "";
}

int main()
{
    rgb(); // rgb(0, 0, 0);
    rgb(100); // Rgb(100, 0, 0);
    rgb(100, 200); // Rgb(100, 200, 0)
    // rgb(100, , 200);   // error
}
```

## 重载

函数重载是指在同一作用域内，具有相同函数名但参数不同的一组函数。这种技术可以使代码更容易编写和理解。

注意：

- 函数匹配错误：函数匹配中的错误会在编译时被发现。
- 忽略返回类型：在函数匹配过程中，返回类型被忽略，仅根据参数进行匹配。

建议：

- 在编写代码时，建议仅创建简单的函数的重载

```cpp
#include <catch2/catch.hpp>

auto square(int const x) -> int
{
    return x * x;
}

auto square(double const x) -> double
{
    return x * x;
}

TEST_CASE()
{

    CHECK(square(2) == 4);
    CHECK(square(2.0) == 4.0);
    CHECK(square(2.0) != 4);
}
```

# 引用

- 我们可以像在C语言中那样在C++中使用指针，但通常我们不希望这样做。
- 引用是另一个对象的别名：你可以像使用原始对象一样使用引用。

相似点：

- 都是指向另一个对象。

不同点：

- 不需要使用->来访问元素，直接使用.即可。
- 不能为null。
- 一旦设置了引用，就不能更改其指向的对象。

```cpp
#include <catch2/catch.hpp>

TEST_CASE()
{
    auto i = 1;
    auto& j = i;
    j = 3;

    CHECK(i == 3);
}
```

## 常量引用

常量引用意味着你不能通过该引用修改对象。

但是，对象本身仍然可以被修改，只是不能通过这个常量引用进行修改。

```cpp
#include <iostream>

int main()
{
    auto i = 1;
    auto const& ref = i;
    std::cout << ref << '\n';
    i++; // This is fine
    std::cout << ref << '\n';
    // ref++; // This is not allowed

    auto const j = 1;
    auto const& jref = j; // this is allowed
    // auto& ref = j; // not allowed
    std::cout << jref << "\n";
}
```

# 函数参数传递方法

## 值传递

实际参数的值被复制到用于存储形式参数的内存中，在函数调用/执行期间使用。

这意味着在函数内部对参数的任何修改不会影响函数外部的实际参数。

```cpp
#include <iostream>

auto swap(int x, int y) -> void
{
    auto const tmp = x;
    x = y;
    y = tmp;
}

auto main() -> int
{
    auto i = 1;
    auto j = 2;
    std::cout << i << ' ' << j << '\n'; // prints 1 2
    swap(i, j);
    std::cout << i << ' ' << j << '\n'; // prints 1 2... not swapped?
}
```

## 引用传递

形式参数仅作为实际参数的别名。每当方法/函数使用形式参数（用于读或写）时，它实际上是在使用实际参数。

优点：

减少内存开销
- 通过引用传递参数不会创建参数的副本，从而减少了内存的使用。这对于大型对象尤其重要。

提高性能
- 因为没有创建参数副本的开销，所以通过引用传递参数可以提高函数调用的性能。

修改原始数据
- 通过引用传递参数，函数可以直接修改实际参数的值，这对于需要在函数内部修改外部变量的情况非常有用。

```cpp
#include <iostream>

auto swap(int& x, int& y) -> void
{
    auto const tmp = x;
    x = y;
    y = tmp;
}

auto main() -> int
{
    auto i = 1;
    auto j = 2;
    std::cout << i << ' ' << j << '\n'; // 1 2
    swap(i, j);
    std::cout << i << ' ' << j << '\n'; // 2 1
}
```

## 性能比较

```cpp
/*auto by_value(std::string const sentence) -> char;
// takes ~153.67 ns
by_value(two_kb_string);

auto by_reference(std::string const& sentence) -> char;
// takes ~8.33 ns
by_reference(two_kb_string);

auto by_value(std::vector<std::string> const long_strings) -> char;
// takes ~2'920 ns
by_value(sixteen_two_kb_strings);

auto by_reference(std::vector<std::string> const& long_strings) -> char;
// takes ~13 ns
by_reference(sixteen_two_kb_strings);*/
```

# 声明与定义

声明：

- 声明使变量的类型和名称变得已知。
- 声明不分配存储空间，也不构造变量。
- 你可以通过声明调用函数，但必须在之后提供定义。

定义：

- 定义是一个声明，但它还做了额外的事情：
    - 变量定义分配存储空间并构造变量。
    - 类定义允许你创建类类型的变量。
    - 函数定义提供函数的实现。
- 每个变量或函数必须有且只有一个定义。

```cpp
#include <catch2/catch.hpp>

// 函数声明
void declared_fn(int arg);

// 类声明
class declared_type;

// 这个类是定义的，但不是所有的方法都被定义了。
class defined_type {
    int declared_member_fn(double);
    int defined_member_fn(int arg) { return arg; }
};

// 函数定义
int defined_fn(int arg)
{
    (void)arg;
    return 1;
}

TEST_CASE()
{
    int i;
    int const j = 1;
    auto vd = std::vector<double> {};
    (void)i;
    (void)j;
    (void)vd;
}
```

# 程序错误

一般有以下几种错误：

## 编译时错误 Compile-time Errors

编译时错误是在源代码编译过程中由编译器检测到的错误。常见的编译时错误包括：
- 语法错误
- 类型错误
- 声明/定义不匹配

## 链接时错误 Link-time Errors

链接时错误是在编译器生成目标文件后，由链接器在试图将多个目标文件链接成一个可执行文件时检测到的错误。常见的链接时错误包括：

- 未定义符号
- 重复定义

## 运行时错误 Run-time Errors

运行时错误是在程序运行过程中发生的错误。常见的运行时错误包括：

- 空指针引用
- 数组越界
- 除0错误

## 逻辑错误 Logic Errorss

逻辑错误是程序在运行时不会产生错误信息，但程序的输出结果不符合预期。这类错误通常是由于编程逻辑不正确引起的，需要通过调试和测试来发现和修正。

- 算法错误
- 错误的条件判断

# 文件io

```cpp
#include <fstream>
#include <iostream>

int main()
{
    // Below line only works C++17
    std::ofstream fout { "data.out" };
    if (auto in = std::ifstream { "data.in" }; in) { // attempts to open file, checks it was opened
        for (auto i = 0; in >> i;) { // reads in
            std::cout << i << '\n';
            fout << i;
        }
        if (in.bad()) {
            std::cerr << "unrecoverable error (e.g. disk disconnected?)\n";
        } else if (not in.eof()) {
            std::cerr << "bad input: didn't read an int\n";
        }
    } // closes file automatically <-- no need to close manually!
    else {
        std::cerr << "unable to read data.in\n";
    }
    fout.close();
}
```

COMP6771 Week 1 Cpp Basics

COMP9517 Week 1 Image Processing Basics



# 图像处理 & 图像分析 Image Processing & Image Analysis

图像处理遵循的是：Image in -> Image out

它的目标是消除失真，或者增强相关的信息。（suppress distortions & denhance relevant information）

图像分析遵循的是：Image in -> Features out

计算机视觉遵循的是：Image in -> Interpretation out

# 图像处理的形式 Types of Image Processing

两种图像处理的方式：

- 图像空间的空间域操作（Spatial Domain Operations in Image Space）
- 傅立叶空间的变换域操作（Transform Domain Operations in Fourier Space）【Week 2】

两种空间域操作方式：

- 点操作（单个像素的强度转换）
- 邻域操作（对像素组进行空间滤波）【Week 2】

# 空间域变换概述

空间域变换满足以下公式：

$$
g(x,y) = T[f(x,y)]
$$

- $f(x,y)$：输入的图像
- $g(x,y)$：输出的图像
- $T[\cdot]$：在$(x,y)$上的操作符

在点操作中，操作符作用于单个的像素：

$$
T: R \rightarrow R \ \ g(x,y) = T[f(x,y)]
$$

在邻域操作中，操作符作用于一组像素：

$$
T: R^n \rightarrow R \ \ g(x,y)=T[f(x,y), f(x+1, y), f(x-1,y), ...]
$$

# 基本点操作 Bcasic Point Operations

## 对比度拉伸 Contrast Stretching

对比度拉伸用于生成对比度更高的图像。它通常的工作原理是：

- 将输入图像中低于L的像素的值设置为最小值（黑色）
- 将输入图像中高于H的像素的值设置为最大值（白色）
- 将输入图像中介于L与H之间的像素的值线性缩放到输出图像的最小值（黑色）和最大值（白色）之间

![image.png](/static/img/958743c415cdb433cd3f6ef6a04b0f85.image.png)

## 强度阈值 Intensity Thresholding

- 是对比度拉伸的极限情况
- 生成灰度图像的二值图像
- 将低于阈值的值在输出中设为黑色
- 将等于或高于阈值的值在输出中设为白色
- 仅当对象和背景的强度差异很大时才有用
- 结果很大程度取决于阈值水平（用户设置的参数）

![image.png](/static/img/9e4b1ea12da5dfbf0bbc6c61c7007f16.image.png)


![image.png](/static/img/f8eac27ee187fbbcba6a78ea4604bdd2.image.png)


![image.png](/static/img/db4df2f23fd7a21770f3b9aee2276740.image.png)

## 强度阈值的自动计算

### 大津法（Otsu's Method）

1. 通过穷举法搜索最小类内方差的阈值（Exhaustively searches for the threshold minimising the intra-class variance）

$$
\sigma_W^2=p_0\sigma_0^2+p_1\sigma_1^2
$$

2. 等价最大类间方差（Equivalent to maximising the inter-class variance）【计算速度更快】

$$
\sigma_B^2=p_0p_1(\mu_0-\mu_1)^2
$$

- $p_0$：是低于阈值的像素比例（class 0）
- $p_1$：是等于或高于阈值的像素比例(class 1)
- $\mu_0$：是class 0的像素平均强度
- $\mu_1$：是class 1的像素平均强度
- $\sigma_0^2$：是class 0的强度方差
- $\sigma_1^2$：是class 1的强度方差
- $p_0+p_1=1$
- $\sigma_0^2+\sigma_1^2=\sigma^2$

![image.png](/static/img/b726dde9d662bd7962dbe15c8a4c14ff.image.png)

### IsoData法 IsoData Method

1. 选择一个人一的初始阈值 $t$
2. 根据阈值计算出两种class像素的均值 $\mu_0$ 和 $\mu_1$
3. 将阈值更新为两组均值的中点：$t = (\mu_0+\mu_1)/2$
4. 如果步骤3中，$t$ 的值发生了改变，则返回步骤2继续

当收敛时，阈值位于两个类别均值的中点。最终使阈值位于两类像素强度均值的中点，从而实现最佳的图像二值化分割。

![image.png](/static/img/c5fd0d4ba2423dcbc00253e3657abd6f.image.png)

## 多阈值分割 Multilevel thresholding

与单阈值时相同，只不过分配的颜色多了几个区间。

![image.png](/static/img/987073a647783d7bea35ec3f5044fa06.image.png)

## 强度反转 Intensity inversion

在强度反转操作中，图像的每个像素的强度值都被反转。例如，输入强度值为0（黑色）的像素在输出图像中变为1（白色），而输入强度值为1（白色）的像素在输出图像中变为0（黑色）。中间值的强度也相应地反转。

![image.png](/static/img/a2d54428bba391a02168416620cd2518.image.png)

## 对数变换 Log Transformation

对数变换的定义：

$$
s=c \cdot log (1+r)
$$

其中，$r$ 是输入强度，$s$ 是输出强度， $c$ 是常数。

- 用于将输入的低灰度值的窄范围映射到输出值的较宽范围，反之亦然
- 压缩具有大像素值变化范围的图像的动态范围（如傅里叶频谱，将在后面讨论）

图表展示了输入灰度级 $r$ 和输出灰度级 $s$ 之间的关系曲线。曲线说明了不同变换（如对数、负变换、幂变换等）对输入输出灰度级的影响。

![image.png](/static/img/b8d68e6736b5176f498ee76ba3d7c9e8.image.png)

## 幂变换 Power Transformation

幂变换的定义：

$$
s=c\cdot r^\gamma
$$

其中，$c$ 和 $\gamma$ 都是常数。

- 类似于（逆）对数变换
- 通过改变 $\gamma$ 表示一系列变换
- 许多设备按幂律响应
- 幂变换的示例：伽玛校正
- 对于通用对比度调整非常有用

![image.png](/static/img/88754481329bcec3ba40d73e1580ceb0.image.png)

![image.png](/static/img/258528d3aab7b7919f9baf51b01f51d2.image.png)

## 分段线性变换 Piecewise Linear Transforamtion

- 补充其他变换方法
- 使得变换设计更加精细化
- 可以具有非常复杂的形状
- 需要更多的用户输入

![image.png](/static/img/fbf9eb73e9930e5c01ac40b8ced9871b.image.png)

## 灰度切片 Gray-Level Slicing

用于突出显示特定范围的灰度级。两种不同的切片方法：
1. 对感兴趣范围内的所有灰度级赋予高值，对所有其他灰度级赋予低值（生成二值图像）(Transform 1)
2. 在保持背景和图像其他灰度级不变的情况下，使特定范围的灰度级变亮（Transform 2）


![image.png](/static/img/6b106810ad359d23832b17d2dfb6c56f.image.png)

## 位平面切片 Bit-Plane Slicing

- 突出显示特定位对整个图像的贡献
- 每个像素有n位的图像有n个位平面
- 可以用于图像压缩

![image.png](/static/img/68bca7c5b54c215c7163c67a69079cad.image.png)

![image.png](/static/img/41c2437b338afb4a98d0d3cc6e9e8620.image.png)

# 像素直方图 Histogram of Pixel Values

## 定义

对于每一个可能的灰度级值，计算具有该值的像素数量，并将像素数量作为灰度级的函数绘制出来。

![image.png](/static/img/447de604b5cfe82c24444b27b368df14.image.png)

## 基于直方图的阈值处理 Histogram Based Thresholding

我们可以使用三角形法（Triangle Method）计算阈值。

1. 找到直方图的峰值点 $r_p,h_p$ 和最高的灰度级点 $r_m, h_m$
2. 从峰值点到最高灰度级点构造一条直线 $l(r)$
3. 找到使得 $||l(r)-h(r)||$ 距离最大的灰度级 $r$

![image.png](/static/img/88961d2d822bc0b9acd30531a7c93fa0.image.png)

以下是Otsu's Method, IsoData Method, Triangle Method的对比：

![image.png](/static/img/8157383850fdb70a72447a52edafb18f.image.png)


# 直方图处理 Histogram Processing

直方图均衡化（Histogram equalization）：

- 使图像在整个强度范围内具有均匀分布的强度级

直方图规定（Histogram specification）或称直方图匹配（Histogram matching）：

- 使图像具有指定的强度分布，该分布由直方图的形状决定

## 直方图均衡化 Histogram Equalization

增强直方图最大值附近的强度值的对比度，并降低直方图最小值附近的对比度。

![image.png](/static/img/0ecba96fed4cf7968756a4d36f105fa2.image.png)

以下是直方图均衡化的数学模型：

- 设 $r \in [0, L-1]$ 表示像素值（强度，灰度级），其中 $r=0$表示黑色，$r=L-1$表示白色。
- 考虑变换 $s=T(r)$，其中 $0 \le r \le L-1$，满足以下条件：
    - $T(r)$ 是单值，且在 $0 \le r \le L-1$ 范围内单调递增，这保证了逆变换 $T^{-1}(s)$ 的存在。
    - 对于 $r \in [0, L-1]$，有 $T(r) \in [0, L-1]$，这保证了输入和输出的范围相同。

### 直方图均衡化的数学方法

以下是连续与离散情况下，直方图均衡化的数学方法：

![image.png](/static/img/760650ecbe6da9f87c464bb8d1c490de.image.png)

![image.png](/static/img/249420591445eda74c8e7545cc522f67.image.png)

### 直方图均衡化斜率约束 Constrained histogram equalization

1. 完全直方图均衡化（Full histogram equalization）：$T(r)$ 的斜率没有约束，灰度值的变换函数是自由变化的。
2. 约束直方图均衡化（Constrained histogram equalization）：$T(r)$ 的斜率是受约束的，变换函数的变化受到了限制，避免了极端的对比度变化。

完全直方图均衡化虽然可以显著增强对比度，但有时会导致图像过度增强，细节丢失。而约束直方图均衡化则通过限制变换函数的斜率，避免了过度增强，保留了更多的图像细节，使得处理后的图像更加自然。

![image.png](/static/img/a66442d16a9cf89aeeeb0cbf97466389.image.png)

## 直方图匹配 Histogram Matching

直方图均衡化的目的是增强图像对比度，使灰度级均匀分布。而直方图匹配（或称直方图规定）则是将一幅图像的灰度分布调整为目标分布，使其符合特定的灰度分布要求。简单来说，直方图匹配是为了让输入图像的灰度分布变成和目标图像的灰度分布相似。

具体步骤如下：

1. 直方图均衡化：首先，将输入图像的灰度分布转换为均匀分布。通过累积分布函数  $T(r)$ 实现这一点。
2. 逆变换到目标分布：然后，使用目标分布的逆累积分布函数 $G^{-1}(s)$ 将均匀分布转换为目标分布。

### 直方图分配的数学方法

以下是连续与离散情况下，直方图分配的数学方法：

![image.png](/static/img/80bbd18726ddc5ad80c220d38bf8f79a.image.png)


![image.png](/static/img/ea19d4bfbdc10468c8496bbae93d3821.image.png)

### 直方图分配例子 Histogram Matching Example

在这个实例中，直方图匹配对每个颜色通道（R、G、B）分别进行处理，使输入图像的直方图尽可能匹配目标图像的直方图。通过这种方法，输入图像的颜色分布被调整为类似于目标图像的颜色分布，从而使输出图像在视觉效果上更接近目标图像。

![image.png](/static/img/6bcaaba9fe46d847b50754a84269649a.image.png)

# 算数和逻辑运算

算术和逻辑运算是在两个图像之间基于像素逐个进行的。

可以使用的有：+，-，\*，/，AND，OR，XOR，...

## 加法和减法 addition and subtraction

左侧的两个图像（Input 1 和 Input 2）展示了不同时间点拍摄的同一场景。输入图像 1 中没有人，而输入图像 2 中有人经过。

输出图像中显示了两幅图像的差异，结果中可以明显看到人的轮廓。

![image.png](/static/img/173f21ee52a2cdc76bdc7ac9bbc45760.image.png)

## 逻辑与和逻辑或 AND and OR

Input表示输入图像，Mask表示需要显示的图像（白色代表显示，黑色代表不显示）。将它们逻辑与后，即可得到想要显示的部分的图像。

![image.png](/static/img/d8f34a2f4be83ae2025725109ed59666.image.png)

# 均值降噪 Averaging to Reduce Noise

假设：

- 真实的无噪声的图像是：$g(x,y)$
- 实际能观测到的图像是：$f_i(x,y)=g(x,y)+n_i(x,y)$
  
  对于每一个 $i=1,...N$，$n_i$ 是零均值，独立同分布（independent and identically distributed）的噪声图像。

那么，我们将能够得到：

$$
E[f_i(x,y)]=g(x,y) \\
VAR[f_i(x,y)]=VAR[n_i(x,y)=\sigma^2(x,y)]
$$

通过求平均值，我么能够得到：

![image.png](/static/img/6ba06bfcc8c6472141522c4fe520ea96.image.png)

以下是不同参数下的降噪示例：

![image.png](/static/img/a10e9b1500651c60fd597a083e761930.image.png)


# 考试例题 Example Exam Question

Which one of the following statements about intensity transformations is incorrect?

A. Contrast stretching linearly maps intensities between two values to the full output range.

B. Log transformation maps a narrow range of high intensities to a wider range of output values.

C. Power transformation can map intensities similar to log and inverse log transformations.

D. Piecewise linear transformations can achieve contrast stretching and intensity slicing.

> 答案是B。对数变换是将低强度值的窄范围映射到输出值的较宽范围内的。
> 在对数变换中，通常将低强度值的窄范围映射到较宽的输出值范围，从而增强图像中暗部区域的细节。相反，高强度值在对数变换中通常不会有显著的变化，因为对数变换对高值的拉伸效果较弱。