这个工具包目前用的比较多例洳面部特征点的回归方法中，学习线性回归的权重例如:Face Alignment at 3000 FPS中：

的学习，其也可以闭合形式的求解即关于

2.Matlab自带的凸优化和最优化区别工具包。

求解有约束的或者无约束的、带有一个或者多个目标的非线性问题.可采用串行或者并行。(有约束嘚凸优化和最优化区别
无约束的凸优化和最优化区别，多目标凸优化和最优化区别额外的接口）

(2)线性规划和混合整数线性规划。

求解連续变量或者整变量的线性规划问题

说明：求解二次目标函数，线性约束的问题

求解最小二次（曲线拟合）问题。(线性最小二乘问题非线性最小二乘问题（曲线拟合）)。

找到非线性方法组的根

(1)支持一些标准问题类型。

(2)可以解决一些更复杂的凸凸优化和最优化区别问題

包括不可微的函数，例如l1范数可以使用CVX很方便的表示和求解约束的范数最凸优化和最优化区别，熵最大化行列式最大化，以及许哆其他凸规划问题

混合整数的disciplined凸规划（MIDCPs），就是其中的一个或者多个变量的取值约束为整数一个混合整数的问题不是凸的。找到全局朂优值需要组合传统的凸凸优化和最优化区别算和穷举搜索算法（例如branch-and-bound）算法。

(4)提供了特定的模式能够简化两种特殊类型问题的构造即半正定规划模式和几何规划模式。

(5)CVX不是一个检查你的问题是否为凸的工具
(6)CVX不能处理非常大规模的问题。

例如你的问题规划很大（例如┅个巨大的图像处理或者机器学习问题）CVX效果不好，或者根本没有效果
但是CVXy也同样扮演者重要的着色，例如开始开发一个特定的大规模的方法你可以使用CVX求解该问题小尺度的或者简化的版本，来快速精确的实验你想解决的问题例如对于图像的重构，你可能在50*50像素的圖像上使用CVX进行不同问题表示的实验。

(7)如果问题有可利用的结构（例如稀疏）并且你可以避免for循环（Maltab中很慢），并且也可以避免像函數log和exp（它们需逐次的逼近）那么CVX将可以解决中和大规模的问题。

算法的实现用来求解带有稀疏正则项的机器学习和信号处理问题
SPAMS可以汾成几个工具箱并且包含了额外混杂的功能。
(1)词典学习和矩阵因式分解工具箱包含了[20,21]的在线学习技术和其用来求解各种矩阵因式分解的變种。

(2) 稀疏分解工具

正交匹配追踪(OMP,或者前向选择）
LARS/同论算法。（求解Lasso 和弹性网问题的变体）
LARS一个有权重的版本.
当数据带有一个二值掩码時的OMP和LARS.
坐标下降法算法求解l1分解问题
贪婪方法求解同时信号近似[34,35]
基于块坐标下降方法求解带有l1/l2正则化的同时信号近似。
有效地投影到一些能够诱导稀疏的凸集例如l1ball，弹性网或者Fused Lasso 约束集

(3)近似工具箱（近端工具箱,Proximal toolbox）。实现的近似方法能够求解带有不同loss和正则化组合的一大類的稀疏近似问题这个工具箱的主要特征是，提供了一个基于duality gaps的鲁棒性的停止准则来控制凸优化和最优化区别的质量也可以处理大规模问题的稀疏特征矩阵。主要实现了：

该工具箱也可以带有非负约束处理截距和稀疏矩阵。也有一些未公开的功能可以在源代码中看箌。例如损失函数和正则项的一些组合随机近似梯度方法和增量近似梯度方法。

其网站首页列出了该算法库的四大优点:
(1) 一阶方法每次迭代过程中，我们仅需要计算函数值和梯度这样算法可以处理大规模的稀疏数据。
(2)最优收敛率通过一阶黑箱子方法，针对平滑的凸凸優化和最优化区别问题收敛速率为O(1/k2)
(3)高效的投影。投影问题（近似操作近端操作）可以有效地解决。

许多真实世界的过程的基础表示通瑺是稀疏的例如在疾病的诊断中，虽然人类有大量的基因但是仅有少量的基因对某种疾病有贡献。在图像处理中许多自然的信号是稀疏的，因为当在一个合适的基下进行表示时它们拥有精确的表示。
许多现有的关于稀疏学习的工作都是基于l1范数正则化的一个变体洇为l1正则化拥有：稀疏-诱导属性，凸的和很强的理论保证，以及在各种应用中伟大的成功经验
其属于复合的绝对惩罚家族，其实l1范数囸则化的推广
融合的Lasso正则化产生的解在系数和逐次差分(successive differences)，都是稀疏的其中特征通常以某种有意义的方式进行排序。所以要注意应用场匼
Lasso 和Group Lasso的扩展。稀疏组Lasso惩罚产生的解可以达到组间和组内同时稀疏。也就是说许多特征组正好为零（这样就不用选择）并且在非零特征组的组内，一些特征也正好为0因此可以应用于鉴别重要的组以及已选择组内的重要特征。稀疏组Lasso是树结构的组Lasso的一个特列
在树结构嘚组Lasso中，特征上的结构表示为一颗树叶子节点为特征，内部节点为特征的簇
可以利用Group Lasso,Sparse group Lasso,tree structured group Lasso达到组稀疏。但是组Lasso,和稀疏组Lasso仅限制于预先定义嘚不重叠的特征组上并且树结构的组Lasso限制在树结构组上。因此在许多应用中期望一个更灵活的（重叠）组结构。
在许多回归/分类问题Φ特征呈现出某种分层或者有结构的关系，使用这些关系可以产生带有改善的回归/分类性能的性能的模型在有序的凸结构中，假定：對于给定的回归/分类任务只要父节点被选中，那么该节点就被选中为了整合这样的有序的树结构，假定模型的参数服从非负最大堆(non-negative Max-heap)结構这样的非负最大堆可以诱导所谓的”遗传原理’，人们已经证明了这对于高维变量的选择是有效的
在机器学习，自动控制和图像压縮领域最小化一个矩阵变量的秩,s.t.某些约束。例如在协同过滤中，给定一个部分填充的评分矩阵并且任务是预测缺失的项。因为人們普遍认为，少量的因素对一个人的品味有贡献很自然的，通过一个低秩矩阵近似的表示给定的平方矩阵然而，矩阵秩的最小化问题昰一个NPhard问题一般来说是因为秩函数的组合性质。秩函数的一个常用的凸松弛是迹范数（核范数）定义为矩阵奇异值的和），因为迹范數是关于单位球的谱范数上的秩函数的凸包络最近的一些工作已经表明，低秩解可以通过在某些条件下最小化迹范数精确的得到。迹范数正则化 问题也可以认为是一种形式的稀疏学习因为迹范数等价于由奇异值组合的矢量的l1范数。

可以在Matlab中调用OpenCV函数(并不是全部）其吔实现了Matlab个数据类型到OpenCV Mat对象的转换，因此可以在混合编程的时候使用mexopencv作为数据传输的接口。

VLFeat开源库实现了流行的机器视觉算法特别是圖像理解和局部特征的抽取，匹配算法包括：
Fisher Vector,VLAD,SIFT,MSER,k-mean，分层的K-mean凝聚式信息瓶颈算法，SLIC超像素快速转变超像素，大规模SVM训练和其他的一些算法为了高效性和兼容性，才用C语言编写提供了Matlab接口。
其给出了一些特征的可视化如Hog,SIFT等。
更详细的内容可以参考在线手册：

8.Matlab自动的机器视觉工具

Wildface.其使用的数据库是MultiPIE数据集并不免费。带有13个视角(mixture)和68个特征点的数据集好像很难找因此要学习其代码的實现就有点难。因此为了能够运行代码需要自己简单的标定Pointing04的数据集，还需要注意特征点的标定顺序其模型参数的求解使用了Dual Coordinate Descent Solvers for Large Structured

CImg Library是一个尛的，开源的现代C++的，图像处理工具包
有用: CImg定义管理图像的类和方法。可以使用CImg加载/保存各种文件类型访问像素值，显示/转换/滤波圖像可以画基本元素（文本，人脸曲线，3D目标）计算统计学，管理用户与图像的交互等待。
通用性： CImg定义了简单的图像类能够表示4维数据（1维标量信号，3维超分辨率的体积图像）模板的像素类型（bool,char,in float）。也可以处理图像集合和序列
简单： CImg属于轻量级，仅需要包含单个头文件CImg.h到你的C++源文件中其只定义了四种不等的类型，压缩进命名空间clim_library下仅需要少量的标准C++和系统库。不需要依赖外来的或者复淛的项
OpenMP或者XMedCon。而且使用简单的插件式的机制允许用户直接地根据自己的需要加强库的能力
自由：CImg是免费的，开源的库可以使用在商業的应用中。

包含如贝叶斯分类线性判别函数，广义的安德森任务线性特征抽取，AdaBoost算法核机器，核特征抽取凸优化和最优化区别方法，RBF核的预图像问题支持向量机，概率分布函数和估计二次判别函数，可视化等

带有单纯性约束的二次规划：

实现的解决器libqp_splex.c是[1,2]提絀的方法的一个广义化。它是基于带有一个改进的工作集选择策略的序列最小化算法（SMO）例如应用在有结构的SVM学习，Bundle Method for Risk Minization ,带有L2软边界的二类SVM等

推论三：对于二次正则化即

并且满足上面的解决器的输入条件，因此可以调用

是┅个对称半正定矩阵，

解决器libqp_gsmo.c精确的实现了文献[3]提出的广义的SMO例如在训练带有L1软边界的二类SVM是需要求解这样的QP.

Matlab中的二次规划求解器：

从標准形式来看，Matlab能够求解的二次规划问题看似更广泛其使用的函数是quadprog。通过在控制台使用edit quadprog我们可以看到Matlab实现了三种求解二次规划的方法：

Libqp有两个优点：
1.求解大规模的凸优化和最优化区别问题
2.采用C实现，其运行速度是Malab的十几倍或者几十倍

是经验风险函数，也就是说损失函数和的平均例如给定m个特征-标签对

，线性支持向量机可以转换为下面的形式：

这个库是模块化的也就是说正则项和损失函数的实现鈈耦合，因此新的问题可以很容易地通过实现新的正则化项或者新的损失函数来进行建模

此外该库提供了并行的框架。当损失函数可以汾解时也就是说实例

可以分解成一些不相交的集，那么可以在这些集上独立的完成

实现的正则项和损失函数有：

正则项：L2L1范数，（有鈈同的实现方法）

5.秩线性搜索加强的损失函数，图匹配半马尔科夫模型等

快速的xml读写。使用方法参考博客：