我的知识记录

digSelf

机器学习

#multinational distribution 1 #范畴分布 1 #多项分布 1 #strong convex 1 #L-Smoothness 0 #多分类 1 #二分类 1 #优化算法 1 #收敛性 1 #Gradient Descent 1 #梯度下降 1 #Sigmoid 1 #决策边界 1 #Softmax 1 #Logistic 2 #回归问题 1 #分类问题 1 #最小二乘法 1 #正则化 1 #结构化风险 1 #经验风险 1 #噪声建模 1 #不确定性 1 #概率模型 2 #监督学习 2 #Maximum A Posteriori 1 #Maximum Likelihood Estimation 1 #MAP 1 #MLE 1 #最大后验估计 1 #最大似然估计 1 #convexity 2 #matrix calculus 1 #矩阵求导 1 #optimization 6 #Normal 1 #正态分布 1 #高斯分布 1 #Gaussian 1 #convex optimization 7 #虚函数 1 #B-Tree 1 #B树 1 #数据结构 2 #红黑树 1 #单隐层前馈神经网络 1 #前馈神经网络 1 #神经元模型 1 #神经网络 1 #对数几率回归 2 #逻辑斯蒂回归 3 #线性回归 1 #线性模型 1 #过滤数据 1 #虚机制 1 #数据聚合 1 #Tab Control 1 #切片 1 #List Control 1 #MFC 1 #DataFrame 1 #Series 1 #pandas 1 #统计学指标 1 #基本数据类型 1 #machine learning 7 #python 5 #numpy 4 #内存 1 #表现形式 1 #main函数 1 #变量作用域 0 #数据类型 1 #函数 0 #jupyter-notebook 1 #vscode 1 #anaconda3 1 #远程连接 1 #前缀和 1 #jupyter 1 #do...while 1 #while 1 #for 1 #循环结构 1 #if...else 1 #条件转移 1 #分支结构 1 #选择结构 1 #区间合并 1 #离散化 1 #位运算 1 #双指针 1 #差分 1 #浮点数二分 1 #Lower bound property 1 #排序 1 #整数二分 1 #归并排序 1 #二分 1 #switch 1 #快速选择 1 #快速排序 2 #switch-case 1 #编译器优化 1 #优化问题的解决思路 1 #Strong and Weak Duality 1 #表达式优化 1 #Duality 1 #半正定矩阵 1 #凸函数 1 #凸集 1 #凸优化 3 #优化 6 #KKT Conditions 1 #Complementary Slackness 1 #弱对偶性 1 #互补松弛条件 1 #对偶 1 #拉格朗日对偶 1 #强对偶性 1 #大整数乘法 1 #机器学习 7 #逆向 6 #C++逆向 8 #除法优化 2 #大整数除法 1 #C++大整数运算 1 #大整数减法 1 #基础算法 5 #大整数加法 1 #大整数运算 1
从二分类到多分类：Logistic回归、梯度下降与交叉熵损失的深度剖析

从二分类到多分类：Logistic回归、梯度下降与交叉熵损失的深度剖析
本文旨在系统地阐述机器学习中从二分类到多分类问题的基本建模方法、参数估计过程及其优化算法。我们将从概率分布的角度构建二分类模型（如Logistic回归），详细探讨如何利用最大似然估计（MLE）对模型参数进行求解，并深入分析为何该问题通常没有闭式解。随后，我们将引入梯度下降法这一核心数值优化工具，从其标准形式出发，严谨地证明在特定条件下（如强凸和光滑性），固定步长梯度下降法的收敛性，从而为机器学习中的参数优化提供坚实的理论基础。此外，文章还将讨论扩展至多分类问题，介绍了其概率模型（范畴分布）、Softmax激活函数以及对应的交叉熵损失函数，进一步深化了对分类任务的理解。
最优化理论机器学习
25
0
2025-06-07
从潜在变量到概率预测：深入理解逻辑斯蒂与Softmax函数

从潜在变量到概率预测：深入理解逻辑斯蒂与Softmax函数
本文深入解析了监督学习中分类问题的核心。它从潜在连续变量和决策边界的角度出发，详尽地推导了 Logistic 函数的多种来源（基于误差分布、生成式模型和启发式方法），最终自然地拓展到处理多分类问题的 Softmax 函数。文章旨在帮助读者透彻理解这些关键概率模型背后的数学原理和直观意义。
机器学习
56
3
2025-06-04
概率论：高斯分布的由来

概率论：高斯分布的由来
最大熵原理视角下的概率密度函数 最大熵原理 最大熵原理（Maximum Entropy Principle, 以下简称MEP）: 在给定约束条件下，一个随机变量的概率分布应该使得熵达到最大值。或者说，满足给定约束条件的所有概率分布中，熵最大的概率分布是最能代表当前系统的概率分布。——来自
机器学习
161
0
2024-08-10
机器学习：线性模型

机器学习：线性模型
线性模型指的是假设可以通过属性空间中的各个属性的线性组合所得到的预测函数对新样本进行预测，即对给定的新样本作为输入，用使用预测函数所得到的输出值作为新样本的真实值的预测...
机器学习
2593
1
2022-02-19
机器学习基础：对NumPy数组进行数据处理操作

机器学习基础：对NumPy数组进行数据处理操作
在将目标数据加载到NumPy数组中后，就需要进行一系列的数组处理操作，包括：对NumPy数组的访问、切片、过滤、计算数据的统计学指标、数据间的聚合和组合以及对计算后的结果保存和再加载的操作，本篇博文就对上述常用操作进行了阐述...
机器学习
3005
0
2021-10-31
最优化理论：凸优化中的对偶

最优化理论：凸优化中的对偶
一个问题可以通过不同的角度来进行观察和求解，那么对于优化问题，它的对应的角度是什么呢？是对偶问题...
最优化理论
2730
0
2021-08-18
最优化理论：优化问题、凸集和凸函数

最优化理论：优化问题、凸集和凸函数
机器学习的问题一般都可以归结为是优化问题，而优化问题中最重要的一部分就是凸优化问题。凸集保证了在算法运行过程中，计算的点不会跑到定义域外面去；而凸函数保证了局部最优解就是全局最优解...
最优化理论
2976
2
2021-08-14