最优化 指从一组可选择的方案中，根据一定标准选择最佳方案的过程，往往要在特定情况下最大化或最小化某一特定函数 或变量。[ 1] 离散优化 、连续优化 两个子领域。优化问题出现在计算机科学 、工程学 [ 2] 运筹学 、经济学 等所有定量学科中，几百年来求解方法的发展一直受到数学 界的关注。[ 3] 优化问题 往往要系统地选择输入值、计算函数值以最大化或最小化 某实函数 。将优化理论与技术推广到其他的表述，构成了应用数学 的一个分支。更一般地说，优化包括在给定定义域 （或输入）的情形下，找到某目标函数的“最佳可达值”。
方程
z
=
f
(
x
,
y
)
=
−
(
x
2
+
y
2
)
+
4
{\displaystyle z=f(x,\ y)=-(x^{2}+y^{2})+4}
最大值 为
(
x
,
y
,
z
)
=
(
0
,
0
,
4
)
{\displaystyle (x,\ y,\ z)=(0,\ 0,\ 4)}
西米奥内斯库函数 的Nelder-Mead极小值搜索。单纯形顶点按值排序，1有最小的（
f
(
x
)
{\displaystyle f(x)}
优化问题可分为两类，取决于变量 是连续 还是离散 ：
优化问题可用以下方式表示：[ 4]
已知： 函数
f
:
A
→
R
{\displaystyle f:\ A\to \mathbb {R} }
集合 A 映射到实数 求： 元素
x
0
∈
A
{\displaystyle x_{0}\in A}
∀
x
∈
A
,
f
x
0
≤
f
(
x
)
{\displaystyle \forall x\in A,\ f_{x_{0}}\leq f(x)}
x
∈
A
,
f
x
0
≥
f
(
x
)
{\displaystyle x\in A,\ f_{x_{0}}\geq f(x)}
这样表述后，称作优化问题 数学规划问题 。很多现实问题与理论问题都可用这个一般框架建模。
由于下式成立：
f
(
x
0
)
≥
f
(
x
)
⇔
−
f
(
x
0
)
≤
−
f
(
x
)
,
{\displaystyle f(\mathbf {x} _{0})\geq f(\mathbf {x} )\Leftrightarrow -f(\mathbf {x} _{0})\leq -f(\mathbf {x} ),}
只需解最小化问题。只考虑最大化问题的相反观点是同理的。
物理学 领域，使用这种技术提出的问题可称“能量 最小化”，将函数f 值视为所建模 系统 的能量。机器学习 中，总要用损失函数 持续评估模型的质量，损失函数获取极小值意味着一组可能的最优参数，同时具有最优（最小）的误差。
A 通常是欧氏空间
R
n
{\displaystyle \mathbb {R} ^{n}}
子集 ，一般要求A 的成员需满足一组约束 （等式或不等式）。f 的定义域 A 称作搜索空间 或选择集 ，A 的元素称作候选解 可行解 。
函数f 有多种叫法，常见的有目标函数 、判别函数 、损失函数 成本函数 （最小化）[ 5] 效率函数 、适应度函数 （最大化），某些领域还有能量函数 、能量泛函 等等。使得目标函数取最值（取决于问题）的可行解就是最优解 。
数学中，传统优化问题通常用最小化形式表示。
极值
x
∗
{\displaystyle \mathbf {x} ^{\ast }}
∃
δ
>
0
{\displaystyle \exists \delta >0}
∀
x
∈
A
where
‖
x
−
x
∗
‖
≤
δ
,
f
(
x
∗
)
≤
f
(
x
)
{\displaystyle \forall \mathbf {x} \in A\;{\text{where}}\;\left\Vert \mathbf {x} -\mathbf {x} ^{\ast }\right\Vert \leq \delta ,\,f(\mathbf {x} ^{\ast })\leq f(\mathbf {x} )}
这就是说，在
x
∗
{\displaystyle \mathbf {x} ^{*}}
闭球 上，所有的函数值 都大于或者等于在该点的函数值。
极小值至少于附近的任何元素一样好，最小值则至少与每个可行解一样好。一般来说，除非目标函数是凸函数 ，否则会存在多个极小值。凸优化 问题中，若有位于可行集内（不位于边缘）的极小值，则它也是最小值；而非凸优化问题可能有多个极小值。
非凸问题所用的大量算法（包括大多数商业求解器）都无法区分局部最优解与全局最优解，而是将前者视作原问题的实际解。全局优化 是应用数学 与数值分析 的一个分支，主要研究能在有限时间内收敛到非凸问题实际最优解的确定性算法。
a
r
g
m
i
n
x
∈
(
−
∞
,
−
1
]
x
2
+
1
,
{\displaystyle {\underset {x\in (-\infty ,-1]}{\operatorname {arg\,min} }}\;x^{2}+1,}
或等价的
a
r
g
m
i
n
x
x
2
+
1
,
subject to:
x
∈
(
−
∞
,
−
1
]
.
{\displaystyle {\underset {x}{\operatorname {arg\,min} }}\;x^{2}+1,\;{\text{subject to:}}\;x\in (-\infty ,-1].}
这是求参数 x 在区间
(
−
∞
,
−
1
]
{\displaystyle (-\infty ,\ -1]}
x
2
+
1
{\displaystyle x^{2}+1}
x
=
−
1
{\displaystyle x=-1}
x
=
0
{\displaystyle x=0}
可行集 。
相似地，
a
r
g
m
a
x
x
∈
[
−
5
,
5
]
,
y
∈
R
x
cos
y
,
{\displaystyle {\underset {x\in [-5,5],\;y\in \mathbb {R} }{\operatorname {arg\,max} }}\;x\cos y,}
或等价的
a
r
g
m
a
x
x
,
y
x
cos
y
,
subject to:
x
∈
[
−
5
,
5
]
,
y
∈
R
,
{\displaystyle {\underset {x,\;y}{\operatorname {arg\,max} }}\;x\cos y,\;{\text{subject to:}}\;x\in [-5,5],\;y\in \mathbb {R} ,}
表示使目标函数
x
cos
y
{\displaystyle x\cos y}
{
x
,
y
}
{\displaystyle \{x,\ y\}}
x 要满足约束：位于区间
[
−
5
,
5
]
{\displaystyle [-5,\ 5]}
{
5
,
2
k
π
}
{\displaystyle \{5,\ 2k\pi \}}
{
−
5
,
(
2
k
+
1
)
π
}
{\displaystyle \{-5,\ (2k+1)\pi \}}
k 的范围是所有整数 。
算符
a
r
g
m
i
n
,
a
r
g
m
a
x
{\displaystyle \operatorname {arg\,min} ,\ \operatorname {arg\,max} }
argmin
,
argmax
{\displaystyle {\text{argmin}},\ {\text{argmax}}}
皮埃尔·德·费马 与约瑟夫·拉格朗日 发现了基于微积分的公式以确定最优值，艾萨克·牛顿 与卡尔·弗里德里希·高斯 提出迭代法以逼近最优值。
用于部分优化情形的“线性规划 ”（linear programming）是乔治·伯纳德·丹齐格 提出的，不过其中大部分理论是列昂尼德·坎托罗维奇 于1939年提出的。丹齐格在1947年提出单纯形法 ，冯·诺依曼 等人也在同时期致力于线性规划的理论研究（如对偶 ）。[ 6]
其他著名的最优化研究者有：
线性规划 ：当目标函数f 是线性函数而且集合A是由线性等式函数和线性不等式函数来确定的， 我们称这一类问题为线性规划整数规划 ：当线性规划问题的部分或所有的变量局限于整数 值时， 我们称这一类问题为整数规划问题二次规划 ：目标函数是二次函数，而且集合A必须是由线性等式函数和线性不等式函数来确定的。分数规划 ：研究的是如何优化两个非线性函数的比例。非线性规划 ：研究的是目标函数或是限制函数中含有非线性函数的问题。随机规划 ：研究的是某些变量是随机变量 的问题。动态规划 ：研究的是最优策略基于将问题分解成若干个较小的子问题的优化问题。组合最优化 ：研究的是可行解是离散或是可转化为离散 的问题。无限维最优化 ：研究的是可行解的集合是无限维空间的子集的问题，一个无限维空间的例子是函数空间。凸优化 研究目标函数为凸函数 （最小化）或凹函数 （最大化），且约束集为凸集 的问题。这可以看成非线性规划的特例，或凸二次规划的推广。
线性规划 （LP），是凸规划的一种，研究目标函数f 为线性函数、约束只包含线性等式与不等式的问题。若这种约束集是有界集合 ，又称作多面体 或多胞形 。二阶锥规划 （SOCP）是凸规划的一种，包括某些类型的二次规划。半正定规划 （SDP）是凸规划的一个子领域，其中底变量是半正定矩阵 ，它是线性规划与凸二次规划的推广。锥规划 是凸规划的一般形式。LP、SOCP、SDP都是其特例。几何规划 是一种表示不等式约束的正项式 、表示等式约束的单项式 化为凸规划的技术。整数规划 研究部分或所有变量取整数 值的线性规划，不属于凸规划，往往比常规线性规划困难很多。二次规划 允许目标函数包含二次项，而可行集须用线性等式与不等式指定。若有特殊形式的二次项，则属于凸规划。分式规划 研究两非线性函数之比的优化。一类凹分式规划可转为凸优化问题。非线性规划 研究目标函数和/或约束包含非线性部分的一般情形。可能属于凸规划也可能不属于，规划是否为凸一般会影响求解难度。随机规划 研究某些约束或参数取决于随机变量 的问题。稳健优化 类似于随机规划，试图捕捉优化问题基础数据中的随机性。稳健优化试图找到在不定集定义的不确定性的所有可能下，都有效的解。组合优化 关注可行解集离散，或可简化为离散 情形的问题。随机优化 用于搜索过程中的随机（噪声）函数测量或随机输入。无穷维优化 研究可行解集为无穷维空间（如函数空间）子集的情形。启发式 与元启发算法 对待优化问题（几乎）不做假设。启发式算法一般不能保证找到最优解，而可用于找到很多复杂优化问题的近似解。约束满足 研究目标函数f 为常数的情形（常见于人工智能 领域，特别是自动推理 ）。
分离规划（disjunctive programming）研究必须满足至少一个约束，而非所有约束的问题。分离规划尤其适用于调度。
空间映射 是工程系统建模与优化的概念，利用具有物理意义的代理模型 ，达到保持模型精度，而减小计算量的效果。在一些子领域中，这些技术用于动态环境（随时间变化的决策）中的优化：
变分法 是指找到实现某目标的最佳方法，如找到边界为特定曲线，而面积尽可能小的曲面。最优控制 是变分法的推广，引入了控制策略。动态规划 是解随机优化 问题的一种方法，具有随机、未知的模型参数，其优化策略基于将问题分割为子问题。描述子问题间关系的方程叫做贝尔曼方程 。均衡约束数学规划 问题的约束包含变分不等式 或互补式 。
主条目：多目标优化
在优化问题中加入多个目标，会增加问题复杂性。例如，优化结构设计时人们希望设计轻而坚固。两目标发生冲突时，就要做出权衡：可能有一种最轻的设计、一种最坚固的设计与无数种重量与强度相折中的设计。牺牲一项标准，改进另一项标准的折衷设计集合称作帕累托集 ，据最佳设计的重量与强度绘制的曲线叫帕累托前沿（Pareto frontier）。
若设计不被其他设计支配，就是“帕累托最优”的（等同于“帕累托有效”，或在帕累托集合中）：被支配设计在某些方面比别的设计差，而在任何方面都不比别的设计好。
帕累托最优给出了理想目标，而没有对目标的组合进行相对评定。在帕累托最优方案中进行选择的任务属于决策者。
多目标优化问题可进一步推广为向量优化 ，其中（部分）排序不再由帕累托排序给出。
优化问题通常是多峰的，即拥有多个好的解决方案，它们可能都是全局最优解（成本函数值相同）。获得所有（或至少一部分）解是多峰优化的目标。
经典优化技术采用的迭代法面对多峰问题的表现并不令人满意，因为即使运行起点不同，也不能保证获得不同的解。
对可能存在多个极值的全局优化 问题，常用算法有进化算法 、贝叶斯优化 与模拟退火 等。
可满足性 问题又称可行性问题，是指在不考虑目标值的情况下找到任何可行解 的问题。可以视为数学优化的一种特例，即每个解的目标值都相同，于是每个解都是最优解。
很多优化算法都要从可行点出发。获得可行点的一种方法是用松弛变量 放松可行性条件，只要有足够的松弛变量，任何起点都是可行的。然后，最小化该松弛变量，直到松弛不为正。
卡尔·魏尔施特拉斯 的极值定理 指出，紧集上的连续实值函数会达到其最值。更一般地，紧集上的下半连续函数会达到其最小值，紧集上的上半连续函数会达到其最大值。
费马引理 指出，无约束问题的最优点是驻点 ，即目标函数的一阶导或梯度为零（见导数判别法 ）。更一般地，最优点可能出现在临界点 ，即目标函数的一阶导或梯度为零或未定义，或在选择集的边界上。一阶条件（组）是指令内部最优点处的一阶导等于零的方程（组）。
等式约束问题的最优点可用拉格朗日乘数法 找到。带等式和/或不等式约束的问题的最优值可由卡鲁什-库恩-塔克条件 求得。
一阶导检验可以识别可能是极值的点，但不能区分极小值与极大值。无约束问题的目标函数二阶可微时，可通过检验二阶导（矩阵，叫做黑塞矩阵 ）来区分；有约束问题中，可检验目标函数与约束条件的二阶导矩阵（称作有界黑塞矩阵）。区分极大极小值与其他驻点的条件叫做二阶条件（见导数判别法 ）。若候选解满足一阶条件，则满足二阶条件便足以确定至少是局部最优。
包络定理 描述了基本参数 变化时，最优解的值如何变化。计算这种变化的过程称为比较静力学 。
Claude Berge（1963）提出的极大值定理 描述了最优解作为基本参数之函数的连续性。
对目标函数二阶可微的无约束问题，可通过寻找梯度 为零的点（驻点）确定一些临界点 。更一般地，对凸函数 及其他局部 利普希茨函数 的最小化问题，零次梯度 意味着已找到极小值。
此外，临界点还可根据黑塞矩阵 的正定性 分类：若临界点处的黑塞矩阵是正定的，则是极小值；若是负定的，则是极大值；若是不定的，则是某种鞍点 。
在拉格朗日乘数 的帮助下，有约束问题往往可以转为无约束问题。拉格朗日松弛法 也能为困难的约束问题提供近似解。
目标函数是凸函数 时，极小值也就是最小值。对凸函数的最小化，存在高效的数值技术，如内点法 。
更一般地，若目标函数不是二次函数，那么很多优化方法都会用其他方法确保某些迭代子列收敛到最优解。第一种仍很流行的是线搜索 ，这种方法沿一个维度对函数进行优化。第二种越来越流行的，是置信域方法 。线搜索与置信域方法都被用于现代不可微优化 中。通常，全局优化器比先进的局部优化器（如BFGS算法 ）慢得多，因此通常可从不同起点启动局部优化器，构建高效的全局优化器。
求解时往往使用有限步内终止的算法 ，或（在某些类的问题上）收敛到解的迭代法 ，或尽可能为某些问题提供近似解的启发式算法 （迭代不一定收敛）。
迭代法 用于解非线性规划 ，依其求值的是黑塞矩阵 、梯度或函数值而有所不同。求黑塞矩阵（H）和梯度（G）可以提高收敛速度，但对变化足够平滑的函数，这会增加每次迭代的计算复杂度 （计算成本），有时可能会过高。
优化器的一个重要指标就是所需的函数求值次数，因为这往往需要大量计算，通常比优化本身的计算量大得多，因为优化器要对N个变量进行操作。导数为此类优化器提供了详细信息，但算起来更困难。例如，近似梯度至少要求N+1次函数值。二阶导的近似（黑塞矩阵需要）每次迭代要求N²次函数值，例如牛顿法，而更简单的纯梯度优化器则只需要N次。优化器的选择取决于具体问题。
需要黑塞矩阵的方法（或用差分 计算近似值）：
牛顿法 序列二次规划 ：基于牛顿法，适于中小尺度约束问题。某些版本可处理高维问题。内点法 ：这是一大类用于约束优化的方法，其中有些只使用（次）梯度信息，另一些则需要黑塞矩阵。
需要梯度的方法（或近似值，或次梯度）：
坐标下降法 ：每次迭代更新一次坐标。共轭梯度法 ：针对大型问题的迭代法 （理论上在二次目标函数的有限步数内终止，但在有限精度计算机上不常能达到）。梯度下降法 （或“最陡下降法”“最陡上升法”）：具有历史与理论意义的（较慢）方法，在寻找巨大问题的近似解时再次受到关注。次梯度法 ：使用广义梯度 迭代大型局部 利普希茨函数 的方法。根据Boris T. Polyak的观点，次梯度投影法类似于共轭梯度法。捆绑下降法（Bundle method of descent）：适用于局部利普希茨函数的中小型问题，尤其适用于凸最小化问题（类似于共轭梯度法）。
椭球法 ：适用于目标函数为拟凸函数 的小型问题的迭代法，在理论上有重要意义，特别是在确定某些组合优化问题的多项式时间复杂度方面。与拟牛顿法有相似之处。弗兰克–沃尔夫法 （条件梯度法）：用于具有线性约束的特殊结构问题，特别是交通网络问题。对于一般的无约束问题简化为梯度法，而梯度法（对几乎所有问题）已经过时。拟牛顿法 ：适于大中型（N<1000）问题的迭代法。同时扰动随机逼近 （SPSA），用于随机优化，运用随机（高效）梯度逼近。
只需要函数值的方法：若问题是连续可微的，那么可用有限差分法逼近梯度，这时可用基于梯度的方法。
插值 法模式搜索 ，收敛特性优于Nelder–Mead法 （启发式算法，带单纯形），下详。镜像下降
除了（有限终止）算法 与（收敛）迭代法 ，还有启发式算法 ，是指任何不能保证（数学上）找到解，但某些实际情况中有用的算法。一些著名的启发式算法：
刚体力学 问题（尤其铰接刚体力学）常常需要数学规划技巧，因为可以将刚体力学视为解约束流形上的常微分方程 ，[ 7] 线性互补问题 解决，也可看作是二次规划问题。
很多设计问题可表述为优化规划。这种应用叫做设计优化，其中一类是工程优化 ，最近不断发展的另一类是多学科设计优化 ，在很多领域都很有用，尤其适用于航空航天工程 问题。
这种方法可用于宇宙学 与天体物理学 。[ 8]
经济学 与行为主体 的优化密切相关，有人将经济学作为一门科学，描述为“将人类行为视作目的与稀缺性 之关系的研究”，还有其他用途。[ 9] 博弈论 、经济均衡 研究有重叠。《经济文献杂志 》的JEL分类系统 将数学规划、优化技术与相关主题归入JEL:C61-C63。
微观经济学 中，效用最大化 及其对偶问题 支出最小化 ，都是经济优化问题。在行为一致的情形下，消费者 被假定为效用 最大化，公司 被假定为利润 最大化。此外，主体常被建模为风险厌恶 者。资产定价 也用最优化理论建模，不过其基础数学依赖于随机过程 的优化，而非静态最优化。国际贸易理论 也用最优化解释国家间的贸易模式。投资组合 优化是经济学中多目标优化的一个例子。
1970年代以来，经济学家利用控制论 建立了随时间变化的动态决策模型。[ 10] 搜索模型 用于研究劳动力市场行为 。[ 11] [ 12] 宏观经济学 的动态随机一般均衡 （DSGE）模型描述整个经济的动态，是工人、消费者、投资者与政府相互依赖的优化决策结果。[ 13] [ 14]
优化技术在电气工程 的一些常见应用如有源滤波器 设计、[ 15] 微波 结构的空间映射 设计、[ 16] [ 17] [ 18] [ 19] 空间映射 以来，微波组件与天线的电磁验证设计优化已广泛使用了适当的物理/经验代理模型 及空间映射方法。[ 20] [ 21] 功率流分析 。[ 22]
优化已广泛用于土木工程。营建管理 与交通工程 是土木工程中非常依赖优化的主要分支。通过优化解决的最常见的土木工程问题有道路的切割与填筑、基础设施生命周期分析、[ 23] 资源均衡 、[ 24] [ 25] 水资源分配 、交通 管理[ 26]
另一个广泛使用优化技术的领域是运筹学 。[ 27] 随机规划 模拟适应事件的动态决策；此类问题可通过大规模优化与随机优化 方法来解决。
数学优化被广泛用于现代控制器设计。模型预测控制 （MPC）与实时优化（RTO）等高级控制器都采用了数学优化。这些算法在线运行，通过迭代求解约束与待控制系统模型在内的数学优化模型，反复确定决策变量的值，如工艺设备中的扼流圈开口。
优化技术常用于地球物理 参数估计。根据一组测量数据（如地震记录），通常要求底层岩石与流体的物理特性 与几何形状 。地球物理学中大多数问题都是非线性的，确定性方法与随机方法都有广泛使用。
主条目：生物系统建模
优化技术被用于计算系统生物学的许多方面，如建立模型、优化实验设计、代谢工程与合成生物学等。[ 28] 线性规划 被用于计算发酵产物的最大可能产量，[ 28] [ 29] [ 30] 非线性规划 被用于分析能量代谢[ 31] [ 32]
现代的计算机科学技术和人工智能科学把最优化作为一个重要的领域来研究。我们也可以认为人工智能的一些算法，就是模拟了人类寻求实际问题最优解的过程。例如，利用人工智能方法设计软件，配合外部的电子设备例如摄像头识别人脸；利用数据挖掘和神经网络算法来寻找投资的最佳时机等。
Du, D. Z.; Pardalos, P. M.; Wu, W. History of Optimization. Floudas, C. ; Pardalos, P. (编). Encyclopedia of Optimization. Boston: Springer. 2008: 1538–1542.
W. Erwin Diewert (2008). "cost functions," The New Palgrave Dictionary of Economics , 2nd Edition Contents （页面存档备份 ，存于互联网档案馆 ）. Vereshchagin, A.F. Modelling and control of motion of manipulation robots. Soviet Journal of Computer and Systems Sciences. 1989, 27 (5): 29–38.
Lionel Robbins (1935, 2nd ed.) An Essay on the Nature and Significance of Economic Science
A.G. Malliaris (2008). "stochastic optimal control," The New Palgrave Dictionary of Economics , 2nd Edition. Abstract 互联网档案馆 的存档 ，存档日期2017-10-18.. De, Bishnu Prasad; Kar, R.; Mandal, D.; Ghoshal, S.P. Optimal selection of components value for analog active filter design using simplex particle swarm optimization. International Journal of Machine Learning and Cybernetics. 2014-09-27, 6 (4): 621–636. ISSN 1868-8071 S2CID 13071135 doi:10.1007/s13042-014-0299-0 Tu, Sheng; Cheng, Qingsha S.; Zhang, Yifan; Bandler, John W.; Nikolova, Natalia K. Space Mapping Optimization of Handset Antennas Exploiting Thin-Wire Models. IEEE Transactions on Antennas and Propagation. July 2013, 61 (7): 3797–3807. Bibcode:2013ITAP...61.3797T doi:10.1109/TAP.2013.2254695 Cervantes-González, Juan C.; Rayas-Sánchez, José E.; López, Carlos A.; Camacho-Pérez, José R.; Brito-Brito, Zabdiel; Chávez-Hurtado, José L. Space mapping optimization of handset antennas considering EM effects of mobile phone components and human body. International Journal of RF and Microwave Computer-Aided Engineering. 2016-02, 26 (2): 121–128. S2CID 110195165 doi:10.1002/mmce.20945 Bandler, J.W.; Biernacki, R.M.; Chen, Shao Hua; Grobelny, P.A.; Hemmers, R.H. Space mapping technique for electromagnetic optimization. IEEE Transactions on Microwave Theory and Techniques. 1994, 42 (12): 2536–2544. Bibcode:1994ITMTT..42.2536B doi:10.1109/22.339794 Bandler, J.W.; Biernacki, R.M.; Shao Hua Chen; Hemmers, R.H.; Madsen, K. Electromagnetic optimization exploiting aggressive space mapping. IEEE Transactions on Microwave Theory and Techniques. 1995, 43 (12): 2874–2882. Bibcode:1995ITMTT..43.2874B doi:10.1109/22.475649 Piryonesi, Sayed Madeh; Tavakolan, Mehdi. A mathematical programming model for solving cost-safety optimization (CSO) problems in the maintenance of structures. KSCE Journal of Civil Engineering. 2017-01-09, 21 (6): 2226–2234. S2CID 113616284 doi:10.1007/s12205-017-0531-z Piryonesi, S. Madeh; Nasseri, Mehran; Ramezani, Abdollah. Piryonesi, S. M., Nasseri, M., & Ramezani, A. (2018). Resource leveling in construction projects with activity splitting and resource constraints: a simulated annealing optimization.. Canadian Journal of Civil Engineering. 2018-07-09, 46 : 81–86. S2CID 116480238 doi:10.1139/cjce-2017-0670 hdl:1807/93364 
![{\displaystyle {\underset {x\in (-\infty ,-1]}{\operatorname {arg\,min} }}\;x^{2}+1,}](http://wikimedia.org/api/rest_v1/media/math/render/svg/39c071258fcecb43aaf25920b9833589bc35036c)
![{\displaystyle {\underset {x}{\operatorname {arg\,min} }}\;x^{2}+1,\;{\text{subject to:}}\;x\in (-\infty ,-1].}](http://wikimedia.org/api/rest_v1/media/math/render/svg/a2ecc7504e271936684860c5d738740d0841edac)
![{\displaystyle (-\infty ,\ -1]}](http://wikimedia.org/api/rest_v1/media/math/render/svg/50793e8ffbfd8d1f35ccab94e75c58736afd072f)
![{\displaystyle {\underset {x\in [-5,5],\;y\in \mathbb {R} }{\operatorname {arg\,max} }}\;x\cos y,}](http://wikimedia.org/api/rest_v1/media/math/render/svg/ee3de833a31bfb33700e63b8d5df04565e899915)
![{\displaystyle {\underset {x,\;y}{\operatorname {arg\,max} }}\;x\cos y,\;{\text{subject to:}}\;x\in [-5,5],\;y\in \mathbb {R} ,}](http://wikimedia.org/api/rest_v1/media/math/render/svg/29cd276141e8e134eb156b2fa537ced38c14a5b3)
![{\displaystyle [-5,\ 5]}](http://wikimedia.org/api/rest_v1/media/math/render/svg/747026ef8f345e2391441225fde05ad6ae10d06d)
