序列之思：从零推导循环神经网络与注意力机制
本文从第一性原理出发，系统性地探讨了现代神经网络处理序列数据的核心思想。文章首先剖析了传统神经网络在处理变长、有序数据时遇到的根本瓶颈，然后循序渐进，逻辑必然地推导出循环神经网络（RNN）的核心设计——参数共享。在此基础上，文章进一步构建了经典的编码器-解码器（Encoder-Decoder）架构，
机器学习
#Value
1
#Key
1
#Query
1
#参数共享
1
#Seq2Seq
1
#序列到序列
1
#Attention
1
#注意力
1
#编码器-解码器
1
#Encoder-Decoder
1
#RNN
1
#循环神经网络
1
#自动微分
1
#互相关与卷积
1
#平移不变性
1
#归纳偏置
1
#计算机视觉
1
#CNN原理,
1
#卷积神经网络
1
#误差信号
1
#深度学习
3
#反向传播
1
#前向传播
1
#激活函数
1
#multinational distribution
1
#范畴分布
1
#多项分布
1
#strong convex
1
#L-Smoothness
0
#多分类
1
#二分类
1
#优化算法
1
#收敛性
1
#Gradient Descent
1
#梯度下降
2
#Sigmoid
1
#决策边界
1
#Softmax
1
#Logistic
2
#回归问题
1
#分类问题
1
#最小二乘法
1
#正则化
1
#结构化风险
1
#经验风险
1
#噪声建模
1
#不确定性
1
#概率模型
2
#监督学习
2
#Maximum A Posteriori
1
#Maximum Likelihood Estimation
1
#MAP
1
#MLE
1
#最大后验估计
1
#最大似然估计
1
#convexity
2
#matrix calculus
1
#矩阵求导
1
#optimization
6
#Normal
1
#正态分布
1
#高斯分布
1
#Gaussian
1
#convex optimization
7
#虚函数
1
#B-Tree
1
#B树
1
#数据结构
2
#红黑树
1
#单隐层前馈神经网络
1
#前馈神经网络
1
#神经元模型
1
#神经网络
3
#对数几率回归
2
#逻辑斯蒂回归
3
#线性回归
1
#线性模型
1
#过滤数据
1
#虚机制
1
#数据聚合
1
#Tab Control
1
#切片
1
#List Control
1
#MFC
1
#DataFrame
1
#Series
1
#pandas
1
#统计学指标
1
#基本数据类型
1
#machine learning
7
#python
5
#numpy
4
#内存
1
#表现形式
1
#main函数
1
#变量作用域
0
#数据类型
1
#函数
0
#jupyter-notebook
1
#vscode
1
#anaconda3
1
#远程连接
1
#前缀和
1
#jupyter
1
#do...while
1
#while
1
#for
1
#循环结构
1
#if...else
1
#条件转移
1
#分支结构
1
#选择结构
1
#区间合并
1
#离散化
1
#位运算
1
#双指针
1
#差分
1
#浮点数二分
1
#Lower bound property
1
#排序
1
#整数二分
1
#归并排序
1
#二分
1
#switch
1
#快速选择
1
#快速排序
2
#switch-case
1
#编译器优化
1
#优化问题的解决思路
1
#Strong and Weak Duality
1
#表达式优化
1
#Duality
1
#半正定矩阵
1
#凸函数
1
#凸集
1
#凸优化
3
#优化
6
#KKT Conditions
1
#Complementary Slackness
1
#弱对偶性
1
#互补松弛条件
1
#对偶
1
#拉格朗日对偶
1
#强对偶性
1
#大整数乘法
1
#机器学习
9
#逆向
6
#C++逆向
8
#除法优化
2
#大整数除法
1
#C++大整数运算
1
#大整数减法
1
#基础算法
5
#大整数加法
1
#大整数运算
1
从生物神经元到智能学习：深度解析神经网络的原理与反向传播
人工神经网络（ANNs）作为现代人工智能的核心，其灵感源于生物神经网络（BNNs），但本质上是对BNNs核心功能的高度抽象和数学化建模。本文深入探讨了这一抽象过程，详细阐述了生物神经元（如突触可塑性、全或无特性、频率编码）如何映射至人工神经元组件（如节点、可变权重、线性加权和与激活函数），并揭示了A
从二分类到多分类：Logistic回归、梯度下降与交叉熵损失的深度剖析
本文旨在系统地阐述机器学习中从二分类到多分类问题的基本建模方法、参数估计过程及其优化算法。我们将从概率分布的角度构建二分类模型（如Logistic回归），详细探讨如何利用最大似然估计（MLE）对模型参数进行求解，并深入分析为何该问题通常没有闭式解。随后，我们将引入梯度下降法这一核心数值优化工具，从其标准形式出发，严谨地证明在特定条件下（如强凸和光滑性），固定步长梯度下降法的收敛性，从而为机器学习中的参数优化提供坚实的理论基础。此外，文章还将讨论扩展至多分类问题，介绍了其概率模型（范畴分布）、Softmax激活函数以及对应的交叉熵损失函数，进一步深化了对分类任务的理解。
从潜在变量到概率预测：深入理解逻辑斯蒂与Softmax函数
本文深入解析了监督学习中分类问题的核心。它从潜在连续变量和决策边界的角度出发，详尽地推导了 Logistic 函数的多种来源（基于误差分布、生成式模型和启发式方法），最终自然地拓展到处理多分类问题的 Softmax 函数。文章旨在帮助读者透彻理解这些关键概率模型背后的数学原理和直观意义。
概率论：高斯分布的由来
最大熵原理视角下的概率密度函数 最大熵原理 最大熵原理（Maximum Entropy Principle, 以下简称MEP）: 在给定约束条件下，一个随机变量的概率分布应该使得熵达到最大值。或者说，满足给定约束条件的所有概率分布中，熵最大的概率分布是最能代表当前系统的概率分布。——来自
机器学习基础：对NumPy数组进行数据处理操作
在将目标数据加载到NumPy数组中后，就需要进行一系列的数组处理操作，包括：对NumPy数组的访问、切片、过滤、计算数据的统计学指标、数据间的聚合和组合以及对计算后的结果保存和再加载的操作，本篇博文就对上述常用操作进行了阐述...
最优化理论：优化问题、凸集和凸函数
机器学习的问题一般都可以归结为是优化问题，而优化问题中最重要的一部分就是凸优化问题。凸集保证了在算法运行过程中，计算的点不会跑到定义域外面去；而凸函数保证了局部最优解就是全局最优解...