最优化理论与方法

1 线性规划与整数规划

1.1 最优化基本要素

1. 将实际问题抽象地用数学模型来描述，包括选择优化变量，确定目标函数，给出约束条件
2. 对数学模型进行必要的简化，并采用适当的最优化方法来求解数学模型

目标函数、优化变量、约束条件是最优化问题数学模型的三个基本要素

优化变量

一个实际的优化方案可以用一组参数来表示。在这些参数中，有些根据要求在优化过程中始终保持不变，这类参数为常量。另一些参数的取值则需要在优化过程中调优和优选，一直处于变化的状态，这类变量称为优化变量。优化变量必须是独立的参数。

n维空间，n维欧氏空间

因为优化变量$x_i(i=1,2,···,n)$都是实数，所以这n个独立变量组成的n维向量空间是一个n维实空间，用$R^n$表示。

优化变量的个数(优化问题的维数)称为自由度，个数越多，自由度越高

目标函数

目标函数是用优化变量来表示的优化目标的数学表达式，是方案好坏的评价标准，故又称为评价函数。目标函数通常表示为

$$f(x)=f(x_1,x_2,···,x_n)$$

约束条件

最优化问题的数学模型及分类

最优化方法概述

1.2 线性规划

线性规划数学模型

线性规划求解基本原理

单纯形方法

初始基本可行解的获取

1.3 整数规划

整数规划数学模型及穷举法

割平面法

分枝定界法

2 非线性规划

2.1 非线性规划数学基础

多元函数的泰勒展开式

函数的方向导数与最速下降方式

函数的二次型与正定矩阵

无约束优化的极值条件

凸函数与凸规划

约束优化的极值条件

2.2 一维最优化方法

搜索区间的确定

黄金分隔法

二次插值法

切线法

格点法

2.3 无约束多维非线性规划方法

坐标轮换法

最速下降法

牛顿法

变尺度法

共轭方向法

单纯形法

最小二乘法

2.4 约束问题的非线性规划方法

约束最优化问题的间接解法

约束最优化问题的直接解法

2.5 非线性规划中的一些其他方法

多目标优化

数学模型的尺度变换

灵敏度分析及可变容差法

3 智能优化方法

3.1 启发式搜索方法

图搜索算法

启发式评价函数

A*搜索算法

3.2 Hopfield神经网络优化方法

人工神经网络模型

Hopfield神经网络

Hopfield网络与最优化问题

3.3 模拟退火法与均场退火法

模拟退火法基础

模拟退火法算法

随机型神经网络

均场退火

3.4 遗传算法

遗传算法实现

遗传算法示例

实数编码的遗传算法

4 变分法与动态规划

4.1 变分法

泛函

泛函极值条件——欧拉方程

可动边界泛函的极值

条件极值问题

利用变分法求解最优控制问题

4.2 最大(小)值原理

连续系统的最大(小)值原理

应用最大(小)值原理求解最优控制问题

离散系统的最大(小)值原理

4.3 动态规划

动态规划数学模型与算法

确定性多阶段决策

动态系统最优控制问题