机器学习分类
监督学习
- 从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。
- 监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。
- 训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类
无监督学习
- 与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有聚类
半监督学习
增强学习
- 通过观察来学习做成如何的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断
机器学习知识储备
从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。
机器学习的数学基础1 - 数学分析
1 2 3 4 5 6 7 8 9 10 11 12
| 机器学习的一般方法和横向比较 数学是有用的：以SVD为例 机器学习的角度看数学 复习数学分析 直观解释常数e 导数/梯度 随机梯度下降 Taylor展式的落地应用 gini系数 凸函数 Jensen不等式 组合数与信息熵的关系
|
机器学习的数学基础2 - 概率论与贝叶斯先验
1 2 3 4 5 6 7 8 9 10 11
| 概率论基础 古典概型 贝叶斯公式 先验分布/后验分布/共轭分布 常见概率分布 泊松分布和指数分布的物理意义 协方差(矩阵)和相关系数 独立和不相关 大数定律和中心极限定理的实践意义 深刻理解最大似然估计MLE和最大后验估计MAP 过拟合的数学原理与解决方案
|
机器学习的数学基础3 - 矩阵和线性代数
1 2 3 4 5 6 7 8 9 10 11 12
| 线性代数在数学科学中的地位 马尔科夫模型 矩阵乘法的直观表达 状态转移矩阵 矩阵和向量组 特征向量的思考和实践计算 QR分解 对称阵、正交阵、正定阵 数据白化及其应用 向量对向量求导 标量对向量求导 标量对矩阵求导
|
机器学习的数学基础4 - 数理统计与参数估计
1 2 3 4 5 6 7 8
| 统计量 期望/方差/偏度/峰度 中心矩/原点矩 矩估计 深刻理解最大似然估计 过拟合的数学原理与解决方案 最大后验估计MAP 偏差方差二难
|
Python基础1 - Python及其数学库
1 2 3 4 5 6 7
| 解释器Python2.7与IDE：Anaconda/Pycharm Python基础：列表/元组/字典/类/文件 Taylor展式的代码实现 numpy/scipy/matplotlib/panda的介绍和典型使用 多元高斯分布 泊松分布、幂律分布 典型图像处理
|
Python基础2 - 机器学习库
1 2 3 4 5 6 7 8 9
| scikit-learn的介绍和典型使用 损失函数的绘制 多种数学曲线 多项式拟合 快速傅里叶变换FFT 奇异值分解SVD Soble/Prewitt/Laplacian算子与卷积网络 卷积与(指数)移动平均线 股票数据分析
|
Python基础3 - 数据清洗和特征选择
1 2 3 4 5 6
| 实际生产问题中算法和特征的关系 股票数据的特征提取和应用 一致性检验 缺失数据的处理 环境数据异常检测和分析 模糊数据查询和数据校正方法、算法、应用
|
回归
1 2 3 4 5 6 7 8 9 10 11
| 线性回归 Logistic/Softmax回归 广义线性回归 L1/L2正则化 Ridge与LASSO Elastic Net 梯度下降算法：BGD与SGD 特征选择与过拟合 Softmax回归的概念源头 最大熵模型 K-L散度
|
回归实践
1 2 3 4 5 6 7 8 9
| 机器学习sklearn库介绍 回归代码实现和调参 Ridge回归/LASSO/Elastic Net Logistic/Softmax回归 广告投入与销售额回归分析 鸢尾花数据集的分类 回归代码实现和调参 交叉验证 数据可视化
|
决策树和随机森林
1 2 3 4 5 6 7 8 9 10
| 熵、联合熵、条件熵、KL散度、互信息 最大似然估计与最大熵模型 ID3、C4.5、CART详解 决策树的正则化 预剪枝和后剪枝 Bagging 随机森林 不平衡数据集的处理 利用随机森林做特征选择 使用随机森林计算样本相似度
|
随机森林实践
1 2 3 4 5
| 随机森林与特征选择 决策树应用于回归 多标记的决策树回归 决策树和随机森林的可视化 葡萄酒数据集的决策树/随机森林分类
|
提升
1 2 3 4 5
| 提升为什么有效 Adaboost算法 加法模型与指数损失 梯度提升决策树GBDT XGBoost算法详解
|
XGBoost实践
1 2 3 4 5
| 自己动手实现GBDT XGBoost库介绍 Taylor展式与学习算法 KAGGLE简介 泰坦尼克乘客存活率估计
|
SVM
1 2 3 4 5 6
| 线性可分支持向量机 软间隔的改进 损失函数的理解 核函数的原理和选择 SMO算法 支持向量回归SVR
|
SVM实践
1 2 3 4 5 6 7
| libSVM代码库介绍 原始数据和特征提取 调用开源库函数完成SVM 葡萄酒数据分类 数字图像的手写体识别 SVR用于时间序列曲线预测 SVM、Logistic回归、随机森林三者的横向比较
|
聚类
1 2 3 4 5 6 7 8
| 各种相似度度量及其相互关系 Jaccard相似度和准确率、召回率 Pearson相关系数与余弦相似度 K-means与K-Medoids及变种 AP算法(Sci07)/LPA算法及其应用 密度聚类DBSCAN/DensityPeak(Sci14) 谱聚类SC 聚类评价和结果指标
|
聚类实践
1 2 3 4 5
| K-Means++算法原理和实现 向量量化VQ及图像近似 并查集的实践应用 密度聚类的代码实现 谱聚类用于图片分割
|
EM算法
1 2 3 4 5 6 7
| 最大似然估计 Jensen不等式 朴素理解EM算法 精确推导EM算法 EM算法的深入理解 混合高斯分布 主题模型pLSA
|
EM算法实践
1 2 3 4 5 6
| 多元高斯分布的EM实现 分类结果的数据可视化 EM与聚类的比较 Dirichlet过程EM 三维及等高线等图件的绘制 主题模型pLSA与EM算法
|
贝叶斯网络
1 2 3 4 5 6 7 8 9
| 朴素贝叶斯 贝叶斯网络的表达 条件概率表参数个数分析 马尔科夫模型 D-separation 条件独立的三种类型 Markov Blanket 混合(离散+连续)网络：线性高斯模型 Chow-Liu算法：最大权生成树MSWT
|
朴素贝叶斯实践
1 2 3 4 5
| GaussianNB MultinomialNB BernoulliNB 朴素贝叶斯用于鸢尾花数据 朴素贝叶斯用于18000+篇新闻文本的分类
|
主题模型LDA
1 2 3 4 5
| 贝叶斯学派的模型认识 共轭先验分布 Dirichlet分布 Laplace平滑 Gibbs采样详解
|
LDA实践
1 2 3 4 5 6 7
| 网络爬虫的原理和代码实现 停止词和高频词 动手自己实现LDA LDA开源包的使用和过程分析 Metropolis-Hastings算法 MCMC LDA与word2vec的比较
|
隐马尔科夫模型HMM
1 2 3 4 5 6
| 概率计算问题 前向/后向算法 HMM的参数学习 Baum-Welch算法详解 Viterbi算法详解 隐马尔科夫模型的应用优劣比较
|
HMM实践
1 2 3 4 5 6 7 8
| 动手自己实现HMM用于中文分词 多个语言分词开源包的使用和过程分析 文件数据格式UFT-8、Unicode 停止词和标点符号对分词的影响 前向后向算法计算概率溢出的解决方案 发现新词和分词效果分析 高斯混合模型HMM GMM-HMM用于股票数据特征提取
|
具体的机器学习算法
构造间隔理论分布：聚类分析和模式识别
1 2 3 4 5 6 7 8
| 人工神经网络 决策树 感知器 支持向量机 集成学习AdaBoost 降维与度量学习 聚类 贝叶斯分类器
|
构造条件概率：回归分析和统计分类
1 2 3 4
| 高斯过程回归 线性判别分析 最近邻居法 径向基函数核
|
通过再生模型构造概率密度函数
1 2 3
| 最大期望算法 概率图模型：包括贝叶斯网和Markov随机场 Generative Topographic Mapping
|
近似推断技术
最优化