机器学习与数据挖掘
范式 监督学习 無監督學習 線上機器學習 元学习（英语：Meta-learning (computer science)） 半监督学习 自监督学习 强化学习 基于规则的机器学习（英语：Rule-based machine learning） 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计（英语：density estimation） 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测（英语：Structured prediction） 特征工程 表征学习 排序学习（英语：Learning to rank） 语法归纳（英语：Grammar induction） 本体学习（英语：Ontology learning） 多模态学习
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning） 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm） 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维 因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction） 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor） 孤立森林（英语：Isolation forest）
人工神经网络 自编码器 認知計算 深度学习 DeepDream（英语：DeepDream） 多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network） 储备池计算（英语：reservoir computing） 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transformer（英语：Vision transformer） 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor） 电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习 主动学习（英语：Active learning (machine learning)） 众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断 学习曲线（英语：Learning curve (machine learning)）
数学基础 内核机器（英语：Kernel machines） 偏差–方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化 奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目 人工智能术语（英语：Glossary of artificial intelligence） 机器学习研究数据集列表（英语：List of datasets for machine-learning research） 机器学习概要（英语：Outline of machine learning）
查 论 编

迁移学习（英語：Transfer learning）是属于机器学习的一种研究领域。它专注于存储已有问题的解决模型，并将其利用在其他不同但相关问题上。^[1] 比如说，用来辨识汽车的知识（或者是模型）也可以被用来提升识别卡车的能力。计算机领域的迁移学习和心理学常常提到的学习迁移在概念上有一定关系，但是两个领域在学术上的关系非常有限。

最早被引用的关于迁移学习的工作被认为属于洛麗安·普拉特（英语：Lorien Pratt）。他在1993年制定了基于可辨识性的转移（DBT）算法。^[2]

1997年，机器学习期刊发表了一期专门讨论迁移学习的期刊，^[3] 而到了1998年，该领域已经发展到包括多任务学习，^[4] 以及对其理论基础的更深入完善的分析。^[5] 1998年，由普拉特和塞巴斯蒂安·特龍编辑的《Learning to Learn》^[6]便是对该主题的回顾。

迁移学习也被应用于认知科学，比如《Connection Science》杂志就于1996年出版了一版特殊期刊，描述了如何通过使用迁移学习重新利用已有神经网络。^[7]

迁移学习是由域和任务定义的。域${\displaystyle {\mathcal {D}}}$由特征空间${\displaystyle {\mathcal {X}}}$和边缘概率分布${\displaystyle P(X)}$构成，其中${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$。给定域${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$，任务由标签空间${\displaystyle {\mathcal {Y}}}$和目标预测函数${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$两部分组成，函数${\displaystyle f}$预测${\displaystyle x}$对应的标签${\displaystyle f(x)}$。任务${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$是从含有样本对${\displaystyle \{x_{i},y_{i}\}}$的训练数据中学习得到的，其中${\displaystyle x_{i}\in X,y_{i}\in {\mathcal {Y}}}$。^[8]

给定原域${\displaystyle {\mathcal {D}}_{S}}$及其任务${\displaystyle {\mathcal {T}}_{S}}$，目标域${\displaystyle {\mathcal {D}}_{T}}$及其任务${\displaystyle {\mathcal {T}}_{T}}$（满足${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$或${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$），迁移学习旨在通过利用${\displaystyle {\mathcal {D}}_{S}}$和${\displaystyle {\mathcal {T}}_{S}}$的知识，帮助学习${\displaystyle {\mathcal {D}}_{T}}$域的目标预测函数${\displaystyle f_{T}(\cdot )}$。^[8]

迁移学习的算法基础可以源自马尔可夫逻辑网络^[9]和贝叶斯网络。^[10]迁移网络还被利用与发现癌症种类 ^[11]、建筑物人员限额^[12]、普适智能游戏玩家^[13]、语句分类^[14][15]以及筛选垃圾邮件（短信）。^[16]

• Thrun, Sebastian; Pratt, Lorien. Learning to Learn. Springer Science & Business Media. 6 December 2012 [2022-12-23]. ISBN 978-1-4615-5529-2. （原始内容存档于2022-07-02）.