最优化理论基础：常见优化问题凸性判定举例
通过具体的例子探讨如何判定常见优化问题中的函数是否为凸函数。凸性是优化领域中的一个关键概念，尤其是在凸优化问题中，凸性确保了局部最优解即为全局最优解。理解如何识别一个函数是否为凸函数对于有效地求解实际问题至关重要。
optimization
#convexity
2
#matrix calculus
1
#矩阵求导
1
#optimization
6
#Normal
1
#正态分布
1
#高斯分布
1
#Gaussian
1
#convex optimization
6
#虚函数
1
#B-Tree
1
#B树
1
#数据结构
2
#红黑树
1
#单隐层前馈神经网络
1
#前馈神经网络
1
#神经元模型
1
#神经网络
1
#对数几率回归
2
#逻辑斯蒂回归
2
#线性回归
1
#线性模型
1
#过滤数据
1
#虚机制
1
#数据聚合
1
#Tab Control
1
#切片
1
#List Control
1
#MFC
1
#DataFrame
1
#Series
1
#pandas
1
#统计学指标
1
#基本数据类型
1
#machine learning
5
#python
5
#numpy
4
#内存
1
#表现形式
1
#main函数
1
#变量作用域
#数据类型
1
#函数
#jupyter-notebook
1
#vscode
1
#anaconda3
1
#远程连接
1
#前缀和
1
#jupyter
1
#do...while
1
#while
1
#for
1
#循环结构
1
#if...else
1
#条件转移
1
#分支结构
1
#选择结构
1
#区间合并
1
#离散化
1
#位运算
1
#双指针
1
#差分
1
#浮点数二分
1
#Lower bound property
1
#排序
1
#整数二分
1
#归并排序
1
#二分
1
#switch
1
#快速选择
1
#快速排序
2
#switch-case
1
#编译器优化
1
#优化问题的解决思路
1
#Strong and Weak Duality
1
#表达式优化
1
#Duality
1
#半正定矩阵
1
#凸函数
1
#凸集
1
#凸优化
3
#优化
6
#KKT Conditions
1
#Complementary Slackness
1
#弱对偶性
1
#互补松弛条件
1
#对偶
1
#拉格朗日对偶
1
#强对偶性
1
#大整数乘法
1
#机器学习
5
#逆向
6
#C++逆向
8
#除法优化
2
#大整数除法
1
#C++大整数运算
1
#大整数减法
1
#基础算法
5
#大整数加法
1
#大整数运算
1
最优化理论基础：判定凸函数
了解如何识别凸函数对于解决实际问题至关重要，凸函数是优化理论和应用中的核心概念之一，它们具有许多优良的性质，特别是对于凸优化问题来说，找到局部最优解就等同于找到了全局最优解。
最优化理论基础：矩阵求导
向量和矩阵求导在机器学习、图像处理、最优化等领域的公式推导中经常用到。比如多元线性回归中损失函数是一个标量，每个输入都有多个属性，计算权重权重时就需要用到标量对向量的求导。此外，在计算神经网络梯度时，相比于求解参数矩阵里的单独每一个元素的梯度，使用向量和矩阵求导能极大增加效率。
概率论：高斯分布的由来
最大熵原理视角下的概率密度函数 最大熵原理 最大熵原理（Maximum Entropy Principle, 以下简称MEP）: 在给定约束条件下，一个随机变量的概率分布应该使得熵达到最大值。或者说，满足给定约束条件的所有概率分布中，熵最大的概率分布是最能代表当前系统的概率分布。——来自
最优化理论：优化问题、凸集和凸函数
机器学习的问题一般都可以归结为是优化问题，而优化问题中最重要的一部分就是凸优化问题。凸集保证了在算法运行过程中，计算的点不会跑到定义域外面去；而凸函数保证了局部最优解就是全局最优解...