数字图像处理

1.1图像及其分类

基本概念

• 图：是物体反射或投射电磁波的分布

• 像：是人的视觉系统对接受的图信息在大脑中形成的印象

• 图像:是图和像的结合。具体来说，就是用各种观测系统以不同形式和手段观测客观世界而获得的、可以直接或间接作用于人的视觉系统而产生的视知觉实体

• 图像处理：是对图形信息进行加工以满足人的视觉或应用需求的行为。处理的方法通常有：模拟图像处理、数字图像处理、光电结合处理。

  • 模拟图像处理：也称光学图像处理，它是利用光学透镜或光学照相(例如：胶片照相机)方法对模拟图像进行的处理，其实时性强、速度快、处理信息量大、分辨率高，但是处理精度差，难有判断功能
  • 数字图像处理：利用计算机技术或其他数字技术，对图像信息进行某些数字运算和各种加工处理，以改善图像的视觉效果和提高图像实用性的技术
  • 光电结合处理：用光学方法完成运算量巨大的处理(如频谱变换等)，再用计算机对光学处理结果(如频谱)进行分析判读等处理。该方法是前两种的有机结合，它集结了两者的优点

• 图像处理的基本特征：系统的输入和输出都是图像。核心是在不改变图像核心内容结构的前提下，改善图像质量或提取基础特征

• 计算机中图像的表示：定义为二维函数$f(x,y)$,其中x，y是空间坐标，$f(x,y)$是点$(x,y)$的幅值；灰度图像是一个二维灰度(或亮度)函数$f(x,y)$;彩色图像由三个(如RGB，HSV)二维灰度(或亮度)函数$f(x,y)$组成

数字图像由二维的元素组成，每一个元素具有一个特定的位置(x,y)和幅值$f(x,y)$，这些元素称为像素

• 计算机中的图像的构成：像素组成的二维排列，可以用矩阵表示；对于单色(灰度)图像而言，每个像素的亮度用一个数值来表示，通常数值范围在0到255之间，0表示黑、255表示白，其他值表示处于黑白之间的灰度；彩色图像可以用红、蓝、绿三元组矩阵来表示，通常，三元组的每一个数值也是在0到255之间，0表示相应的基色在该像素中没有，而255则代表相应的基色在该像素中取得最大值

图像的特点

直观形象、易懂、信息量大

图像的分类

按灰度分类：二值、多灰度
按色彩分类：单色、彩色
按运动分类：静态、动态
按时空分布分类：二维、三维

1.2 数字图像处理奇数与应用

数字图像处理的主要内容

• 图像获取：把一幅模拟图像转换成适合计算机或数字设备处理的数字信号。包括：摄取图像、光电转换、数字化。
• 图像变换：对原始图像进行某种正交变换，将图像的特征在变换域中表现出来，一边对图像进行各种相关处理。
• 图像增强：突出图像中感兴趣的信息，衰减或去除不需要的信息，以使图像更清晰地被显示后更适合于人或机器的处理与分析
• 图像复原：去除噪声干扰和消除模糊，尽可能恢复图像的本来面目。
• 图像编码：利用信息论的思想对图像信号进行高效压缩，从而减少数据存储量，降低数据率以减少传输带宽。
• 图像分析：对图像中感兴趣的目标进行检测和测量，以获得所需的客观信息。
• 图像识别：对图像加以处理和识别，以解决计算机与外部环境直接通信的问题。
• 图像理解：研究图像中各种目标的性子以及相互之间的联系，并得以对图像内容含义的理解以及对原来客观场景的解释，从而知道规划行为。

数字图像处理的方法

• 空域法：把图像看作平面中各个像素组成的集合，直接对图像的像素进行处理；（又分为领域处理的方法、点处理的方法）
• 变换域法：将图像进行变换后，在变换域内对图像的变换系数进行处理，处理完毕再进行逆变换，获得处理后的图像

数字图像处理技术的应用

• 计算机图像生成：核心是从无到有或基于需求创造图像
• 图像传输与图像通信，数字电视
• 机器人视觉及图像测量
• 办公自动化
• 图像跟踪及光学制导
• 医学图像处理与材料分析中的图像分析系统
• 遥感图像处理和空间探测
• 图像变形技术

1.3 数字图像处理系统

图像采集系统

模拟图像->图像采集系统->计算机->图像输出设备

计算机

图像输出设备

1.4 MATLAB图像处理工具箱

MATLAB是一种基于向量的高级程序语言，将计算、可视化与程序设计集成在一个易用的环境中

。。。。。//教授使用过程略

图像获取

2.1 概述

图像获取是数字图像处理的第一步，它将模拟图像转换成适合数字计算机处理的数字图像

图像采样：空间坐标位置$(x,y)$的离散化(数字化)

图像量化：图像像素值f的离散化(数字化)

2.2 连续图像模型

用数学方法表示图像的特征是设计和分析图像处理系统的必要手段；图像特征的数学表示方法：确定性和统计性

确定性：图像函数是确定的，可用来分析图像的点性质
统计的图像表示方法：用统计的平均参数说明图像特征

连续图像的表达式(确定性)

连续图像的随机表征(统计性)
图像函数是一种空间变量为(x,y)、时间变量为t的三维连续随机过程(对于给定的(x,y,t),图像函数的值是一个随机变量)随机过程可以由它的联合概率密度(表示在空间位置(x,y),和时间t处，图像函数取某个值f的概率密度(概率密度用于描述连续性随机变量在某一点附近取值的可能性大小))完全地表示出来

$p\{f;x,y,t\}$

• 常用的概率密度模型

  • 均匀密度 $p\{f;x,y,t\}=\alpha$
  • 雷利密度 $p \{f,;x,y,t\}=\frac{f(x,y,t)}{\alpha^2}e^{-\frac{f^2(x,y,t)}{2\alpha^2}}$
  • 指数密度 $p\{f;x,y,t\}=\alpha e^{-\alpha \lvert f(x,y,t)\lvert}$ ,$\alpha$为常数
  • 高斯密度 $p\{f;x,y,t\}=[2\pi \sigma^2_{f}(x,y,t)]^{-\frac{1}{2}}e^{- \frac{[f(x,y,t)-\eta_f(x,y,t)]^2}{2\sigma^2_f(x,y,t)}}$
  • 拉普拉斯密度$p\{f;x,y,t\}= \frac{\alpha}{2}e^{-\alpha \lvert f(x,y,t)\lvert}$
  • 条件概率 $p\{f_1;x_1,y_1,t_1 \lvert f_2;x_2,y_2,t_2\}=\frac{p\{f_1f_2;x_1,x_2,y_1,y_2,t_1,t_2\}}{p\{f_2;x_2,y_2,t_2\}}$

• 图像随机过程的数字特征(用于描述和分析图像随机过程统计特性的一些量化指标)

  • 一阶矩或平均值$\eta_f(x,y,t)=E\{f(x,y,t)\}=\int_{-\infty}^{+\infty} f(x,y,t)p\{f;x,y,t\}df$
  • 二阶矩或相关函数$R(x_1,y_1,t_1;x_2,y_2,t_2)=E\{f(x_1,y_1,t_1)f^*(x_2,y_2,t_2)\}$=$\int^{+\infty}_{-\infty}\int_{- \infty}^{+\infty}f(x_1,y1_,t_1f^*(x_2,y_2,t_2)p\{f_1,f_2;x_1,y_1,t_1,x_2,y_2,t_2\}df_1df_2)$
  • 自协方差$\sigma^2_f(x,y,t)=K(x,y,t;x,y,t)$
  • 方差$K(x_1,y_,t_1;x_2,y_2,t_2)=R(x_1,y_1,t_1;x_2,y_2,t_2)-\eta_f(x_1,y_1,t_1)\eta^*_f(x_2,y_2,t_2)$

2.3 连续图像的频谱

频谱：频率分布信息

连续图像的表示方法：空域法、变换域法
（1）空域法：f(x,y)
（2）变换域法：连续图像的频谱表示(即图像傅里叶变换系数表示的方法)

一维连续傅里叶变换

已知原始图像的一维表示形式为f(x),以及欧拉公示:

$$e^{i\theta} = \cos\theta + i\sin\theta$$

傅里叶变换：

$$F(u)= \int_{-\infty}^{+ \infty}f(x)e^{-j2 \pi ux}dx$$ $F(x)=\int_{-\infty}^{+ \infty}F(u)e^{j2 \pi ux}du$

变换存在的充分条件$\int_{-\infty}^{+ \infty} \lvert f(x) \lvert dx < \infty$,无限区间内，函数的绝对值可积

$$F(u)=R(u)+jI(u)$$ $$F(u)=\lvert F(u) \lvert e^{j\phi(u)}$$

幅度谱$\lvert F(u) \lvert=[R^2(u)+I^2(u)]^{\frac{1}{2}}$
相位谱$\phi(u)=tan^{-1}\frac{I(u)}{R(u)}$
能谱$E(u)=\lvert F(u)\lvert^2 =R^2(u)+I^2(u)$

$$F(u,v)=\int_{-\infty}^{\infty}e^{-j2\pi(ux+vy)}dxdy$$ $f(x,y)=\int_{-\infty}^{\infty}F(u,v)e^{j2\pi(ux,vy)}dudv$

变换存在的充分条件$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\lvert f(x,y) \lvert dxdy < \infty$

二维连续傅里叶变换

$$F(u,v)=\int_{-\infty}^{\infty}f(x,y)e^{-j2\pi(ux,vy)}dxdy$$ $$F(u,v)=R(u,v)+jI(u,v)$$

幅度谱

$$\lvert F(u,v) \lvert=[R^2(u,v)+I^2(u,v)]^{\frac{1}{2}}$$

相位谱

$$\phi(u,v)=tan^{-1}\frac{I(u,v)}{R(u,v)}$$

能谱

$$E(u,v)=\lvert F(u,v) \lvert^2=R^2(u,v)+I^2(u,v)$$

2.4 图像采集

大多数传感器输出的是连续的电压波形，为了产生数字图像，需要把连续的感知数据转化为数字形式，需要进行采样

采样：也称取样(抽样)，是指把空间域或时间域的连续量转化成离散量的过程。
也指把模拟音频转成数字音频的过程
在数字图像处理领域中，定义为图像空间坐标的数字化操作

等距离采样：在空间坐标轴上等间隔的抽取函数的样值

采样定理

$$s(x)=\sum_{n=-\infty}^{\infty}\delta(x-nT)=\delta_T(x)$$ $$f_s(x)=f(x)*s(x)$$ $$f_s(x)=\sum_{n=-\infty}^{\infty}f(x)\delta(x-nT)$$

采样周期：T
采样频率：$\Omega_s=\frac{1}{T}$

$$S(u)=\frac{1}{T}\sum_{k=-\infty}^{\infty}\delta(u-k\Omega_s)$$ $$F_s(u)=F(u)*S(u)=\frac{1}{T}\sum_{k=-\infty}^{\infty}F(u-k\Omega_s)$$ $F_s(u)$是频域上的周期函数，它满足$F_s(u)=F_s(u\pm k\Omega_s)$是由一组移位的$F(u)$叠加而成，但在幅度上有1/T的变化

函数f(x)经采样后，采样点间的信息就丢失了

假设f(x)为一带限函数：即以原点为中心的有限区间(带宽)之外的频率值，其傅里叶变换为0，$\Omega_M$为f(x)的最高频率

%} $$F_s · H(u)=[\frac{1}{T}\sum_{k=-\infty}^{\infty}F(u-k\Omega_s)]·H(u)=F(u)$$

直接对上式取傅里叶反变换，就得到了原函数f(x)

空间采样函数

$$s(x,y)=\sum_{m=-\infty}^{\infty}\sum_{n=-\infty}^{\infty}\delta(x-m\Delta x,y-n\Delta y) //二维单位对冲函数$$ $$S(u,v)=\frac{1}{\Delta x \Delta y}\sum_{i=-\infty}^{\infty}\sum_{j=-\infty}^{\infty}\delta(u-i\Omega_x,v-j\Omega_y)$$

空间采样频率

$$\Omega_x=\frac{1}{\Delta x},\Omega_y=\frac{1}{\Delta y}$$

采集后图像

空间域

$$g_s(x,y)=f(x,y)·s(x,y)=\sum_{m=-\infty}^{\infty}\sum_{n=-\infty}^{\infty}f(m\Delta x,n\Delta y)·\delta(x-m\Delta x,y-n\Delta y)$$

频域

$$G_s(u,v)=F(u,v)*S(u,v)$$ $$G_s(u,v)=\frac{1}{\Delta x \Delta y}\sum_{i=-\infty}^{\infty}\sum_{j=-\infty}^{\infty}F(u-i\Omega_x,v-j\Omega_y)$$

奈奎斯特准则

设二维(图像)函数f(x,y)的频谱是有限带宽的，即当$\lvert u \lvert > \Omega_{xf},\lvert v \lvert > \Omega_{yf}$时，F(u,v)=0,如果采样频率满足

$$\Omega_x > 2\Omega_{xf},\Omega_y>2\Omega_{yf} (奈奎斯特准则)$$

或者采样周期满足

$$\Delta_x<\frac{1}{2\Omega_{xf}},\Delta_y<\frac{1}{2\Omega_{yf}} (奈奎斯特准则)$$

均匀采样

上述讨论的等间隔采样。当对采样点数目有所限制时，比如说N*N各采样点，此时可以根据图像的特征采用自适应采样方案，有可能获得更好的效果

自适应采样方案的基本思想是：在图像函数值变化较大的区域采用精细的采样，在相对平滑的区域采用粗糙的采样。这种自适应采样方案又称为非均匀采样

采样点越多，分辨率越高，图像质量越好。当分辨率低到一定程度时，图像会出现马赛克效应(棋盘格效应)

非统一的图像的采样

在灰度级变化尖锐的区域，用细腻的采样，在灰度级比较平滑的区域，采用粗糙的采样

2.5 图像量化

1. 为什么要量化？
   连续图像经过采样后得到的样本图像是定义在离散空间域上的二维离散图像(仅X,Y的数字化)，但样本图像的每个点的灰度值(f仍为连续空间取值)仍然是一个连续量

2. 量化，将离散图像的值表示为与其幅度成比例的整数

3. 量化过程：预先设定一组判决电平，降采样点的灰度值域判决电平进行比较，若在区间内，则取该区间对应的代表值

量化器模型

标准量化

量化误差：

$$e=x-Q(x)$$

均方误差:

$$\sigma^2_e = E\{[x-Q(x)]^2\}$$ $$\sigma^2_e =\int_{-\infty}^{\infty}[x-Q(x)]^2p(x)dx$$ $$\sigma^2_e =\sum_{i=1}^N \int_{a_{i-1}}^{a_i}[x-y_i]^2p(x)dx$$

信噪比：

$$SNR=10lg\frac{\sigma^2}{\sigma^2_e}$$ $$\sigma^2=E{x^2}=\int_{-\infty}^{\infty}x^2p(x)dx=\sum_{i=1}^{N}\int_{a_{i-1}}^{a_i}x^2p(x)dx$$

最优量化器设计就是取均方差最小或信噪比最大的量化

压扩量化——与非均匀量化器等效的均匀量化方法

压扩量化变换表

	概率密度	正变换	逆变换
高斯	$$p(f)=(2\pi\sigma^2)^{-\frac{1}{2}}exp\{-\frac{f^2}{2\sigma^2}\}$$	$$g=\frac{1}{2}erf{\frac{f}{\sqrt{2}\sigma}}$$	$$\hat{f}=\sqrt{2}\sigma {erf}^{-1}\{2\hat{g}\}$$
雷斯	$$p(f)=\frac{f}{\sigma^2}exp\{- \frac{f^2}{2\sigma^2}\}$$	$$g=\frac{1}{2}-exp\{- \frac{f^2}{2\sigma^2}\}$$	$$\hat{f}=\{\sqrt{2}\sigma ln[\frac{1}{\frac{1}{2}-\hat{g}}]\}^{\frac{1}{2}}$$
拉普拉斯	$$p(f)=\frac{\alpha}{2}exp\{-\alpha\lvert f\lvert\},\alpha=\frac{\sqrt{2}}{\sigma}$$	$$g=\frac{1}{2}[1-exp\{-\alpha f\}],f\geq0;-\frac{1}{2}[1-exp\{\alpha f\}],f<0$$	$$\hat{f}=-\frac{1}{\alpha}ln(1-2\hat{g}),\hat{g}\geq 0;\frac{1}{\alpha}ln(1+2\hat{g}),\hat{g}<0$$
其中$$erf(x)=\frac{2}{\sqrt{\pi}}\int_{0}^{x}exp(-y^2)dy$$

标准量化的缺点：仅孤立地考虑一个模拟样本值并量化，没有考虑样本值之间的相关性，如果考虑相关性，就要用到向量量化的方法

在实际量化编码时，只需在发送端记录代表向量$y_i$的下标i，所以编码过程就是将输入向量映射到$I=\{1,2,···,J\}$；而译码过程则是在接受端根据收到的I代码查找码书，获得对应的码字

向量量化的特点

1. 压缩能力强:由于码书长度J一般远小于总的输入信号样本数，适当选取码书长度和码字维数，可以获得很大的压缩比

2. 码书控制着量化失真量的大小：向量量化中码书的码字越多，失真就越小。只要适当选取码字数量，就能控制失真量在容许的范围内。因此，码书设计是向量量化的关键环节之一

3. 计算量大：向量量化每输入一个向量f，都要和J个码字逐一比较，搜索出最接近的$y_i$，所以工作量很大。因此，寻求一种很是的快速码书搜索算法是实现向量量化的第二个关键

4. 向量量化是定长码，容易处理

LBG算法

设计向量量化器码书的算法

码书搜索

一个向量量化的例子

学生的(身高，体重，年龄)这三个信息：
身高：160-175和175-190，代表值取167.5cm和182.5cm
体重：60-75kg和75-90kg，代表值取67.5kg和82.5kg
年龄：16-18岁和18-20岁，代表值取17岁和19岁

学生A为(172,70,17,5),量化结果为(167.5，67.5，17)
学生B为(168,68,17,8),量化结果为(167.5,67.5,17)

一般的量化值用整数来表示。充分考虑到人眼的识别能力之后，目前非特殊用途的图像均为8bits量化，即用0255描述“黑白”

量化等级越高，图像质量越好。当量化等级低到一定的程度，图像会出现虚假轮廓(或称木刻效果)

非统一的图像的量化

在边界附近使用较少的灰度级。剩余的灰度级可用于灰度级变化比较平滑的区域
避免或减少由于量化的太粗糙，在灰度级变化比较平滑的区域出现假轮廓的现象

2.6 数字图像的基本概念

[
\begin{pmatrix}
f(0,0) & f(0,1) & … & f(0,N-1)\
f(1,0) & f(1,1) & … & f(1,N-1)\
. & . &.&.\
. & .&..&.\
.&.&…&.\
f(M-1,0)&f(M-1,1)&…&f(M-1,N-1)
\end{pmatrix}
]

M和N为正整数
矩阵中的每个元素称为图像单元，又称为图像元素，或简称像素

数字图像的表示

（1）二进制图像
在一幅二进制图像中，每一个像素将取两个离散数值(0或1)中的一个。二进制图像使用uint8或双精度类型的数组来存储

（2）索引图像
索引图像是一种把像素直接作为RGB调色板下标的图像。

（3）灰度图像
灰度图像通常由一个unit8、unit16或双精度类型的数组来描述，其实质是一个数据矩阵I。该矩阵中的数据均代表了在一定范围内的灰度级，每一个元素对应于图像的一个像素点，通常0代表黑色，1、255或65535(针对不同的存储信息)代表白色

（4）多帧图像
多帧图像是一种包含多幅图像或帧的图像文件，又称为多页图像或图像序列，主要用于需要对时间或空间场景上相关图像集合进行操作的场合。

（5）RGB图像
RGB图像又称为真彩图像，它是利用R、G、B三个分量表示一个像素的颜色，R、G、B分别代表红、绿、蓝三种不同的基本颜色，通过三基色可以合成出任意颜色。

空间分辨率对图像质量的影响

随着空间分辨率的降低，图中各区域边缘处的棋盘模式越来越明显，并且全图的像素颗粒变得越来越粗，当空间分辨率低到一定的程度，会出现棋盘格效应，或马赛克效果

由此可见，图像的空间分辨率越低，图像的质量越差

灰度分辨率变化对图像视觉效果的影响

随着灰度分辨率的降低，图像的细节信息在逐渐损失，伪轮廓信息在逐渐增加。由于伪轮廓信息的积累，图像已显现出了木刻的效果。由此说明：灰度分辨率越低，图像的视觉效果越差。

像素间的基本关系

$N_4(p)$——像素(x,y)的4邻域 $(x+1,y),(x-1,y),(x,y+1),(x,y-1)$ $N_D(p)$——像素(x,y)的对角邻域 $(x+1,y+1),(x+1,y),(x-1,y+1),(x-1,y-1)$ $N_8(p)$——像素(x,y)的8邻域 $N_4(p)+N_D(p)$

V是用于定义连接性的灰度值集合

p和q之间的欧氏距离定义为：

$$D_e(p,q)=[(x-s)^2+(y-t)^2]^{\frac{1}{2}}$$

根据这个距离度量，与点（x，y）的距离小于或等于某一值d的像素组成以（x，y）为中心，以d为半径的圆