零样本学习与少样本学习是怎样工作的？

在人工智能蓬勃发展的今天，机器学习正不断突破传统数据依赖的限制。零样本学习（Zero-shot Learning）与少样本学习（Few-shot Learning）作为新兴的前沿技术，赋予AI类似人类的“举一反三”能力，使其能在数据稀缺的场景下快速学习新知识、适应新任务。两种学习方式不仅拓展了AI的应用边界，更推动了人工智能从数据驱动向知识驱动的转变，为解决现实世界中的复杂问题提供全新的思路和方法。

核心概念

在人工智能（AI）的发展历程中，如何让机器像人类一样具备快速学习和适应新环境的能力，一直是研究者们追求的核心目标。传统机器学习模型，尤其是深度学习，在许多任务上虽取得超越人类的表现，但是建立在海量标注数据的基础之上，种对数据的“贪婪”需求，极大地限制了AI在数据稀缺或获取成本高昂的场景下的应用。为打破这一瓶颈，零样本学习（Zero-shot Learning, ZSL）和少样本学习（Few-shot Learning, FSL）应运而生。它们让AI模型摆脱对大规模标注数据的依赖，仅通过极少量甚至零个样本，就能快速掌握新任务、识别新类别。两种学习方式，赋予了AI类似人类的“举一反三”能力，使其能够更灵活、更高效地应对复杂多变的现实世界。

零样本学习（Zero-shot Learning）

• 定义

零样本学习是机器学习领域中一项极具挑战性的任务，要求模型在没有见过任何目标类别样本的情况下，依然能进行识别和分类 。例如，一个从未见过斑马的孩子，如果被告知“斑马是一种外形像马、身上有黑白条纹的动物”，下次在动物园看到斑马时，能准确地辨认出来。零样本学习的核心思想，正是模仿人类的学习方式，通过引入额外的辅助信息（如文本描述、属性标签等），让模型能够“理解”新类别的概念，实现对新类别的识别 。

• 实现机制

从技术上讲，零样本学习被定义为迁移学习的特例 。在传统的监督学习中，模型的训练集和测试集共享相同的类别标签空间。在零样本学习中，训练集和测试集的类别标签空间是完全不相交的，即模型在训练阶段从未见过测试阶段需要识别的类别 。为实现这一目标，零样本学习模型利用辅助信息（auxiliary information）建立已知类别和未知类别之间的联系。辅助信息以语义嵌入（semantic embeddings）的形式存在。

例如，通过词向量模型（如Word2Vec）将类别名称（如“马”、“老虎”、“熊猫”）映射到一个高维向量空间中，向量能捕捉类别之间的语义关系。当需要识别一个新类别（如“斑马”）时，模型会用“斑马”的文本描述（如“像马”、“有条纹”、“黑白相间”）生成语义嵌入，将其与图像特征进行匹配，完成分类 。

少样本学习（Few-shot Learning）

• 定义

如果说零样本学习是“无师自通”的专家，少样本学习就是“一点就通”的聪明学生，能让AI模型仅通过极少量（通常是1到5个）的标注样本，快速掌握一个新任务或识别一个新类别 。这种学习方式与人类的学习过程非常相似。人类在学习新知识时，往往不需要海量的例子，通过几个典型的案例，就能抓住核心规律，并应用到新的情境中。

例如，一个小孩只需要看过几张不同品种的狗的照片，就能在下次见到一只从未见过的狗时，准确地认出它是一只狗。少样本学习的目标，就是让AI具备快速学习和泛化的能力。

• 实现机制

少样本学习是机器学习的一个分支，专注于解决数据稀缺场景下的模型泛化问题 。在少样本学习的设定中，模型被要求在只有少量标注样本（即支持集，support set）的情况下，对新的、未见过的样本（即查询集，query set）进行分类或完成其他任务 。例如，在一个5-way 1-shot的分类任务中，模型需要学习区分5个全新的类别，每个类别只有1个标注样本。模型用这5个样本，学会区分这5个类别的特征，对查询集中的样本进行正确分类。这种学习方式的核心挑战在于，如何从极少量样本中提取有效信息，避免过拟合（即模型仅仅记住了这几个样本，而没有学到泛化的规律）。

零样本学习与少样本学习的核心区别

零样本学习与少样本学习最核心的区别在于，模型在识别新类别时是否需要提供示例。零样本学习完全不需要任何新类别的标注样本，完全依赖于辅助信息（如文本描述）进行推断 。少样本学要求提供极少量（通常是1到5个）新类别的标注样本，模型通过样本学习新类别的特征，进行泛化。

与传统监督学习的对比

传统监督学习是机器学习中最常见、最成熟的方法，在许多任务上取得巨大的成功。对数据的依赖也成为最大的瓶颈。

• 传统监督学习：需要大量标注数据

传统监督学习的核心思想是，通过大量的、带有标签的训练数据，学习一个从输入到输出的映射函数。例如，在图像分类任务中，模型需要看到成千上万张标注为“猫”的图片，及成千上万张标注为“狗”的图片，学会区分猫和狗，过程需要大量的时间和人力来进行数据标注，成本非常高昂。对于一些罕见的类别（如某种稀有疾病），根本无法获取到足够数量的标注样本。

• 零样本与少样本学习：降低对数据量的依赖

零样本学习和少样本学习的出现，解决了传统监督学习对数据量的过度依赖问题。通过引入先验知识、辅助信息或元学习等机制，极大地降低对标注数据的需求。

实现方式

零样本学习和少样本学习虽然目标相似，但实现方式却大相径庭。

零样本学习更像是一位理论家，通过“阅读”和“理解”掌握新知识；

少样本学习更像是一位实践家，通过“观察”和“模仿”快速上手。

零样本学习的实现

零样本学习的核心在于，如何让模型在没有见过任何样本的情况下，理解一个新类别的“概念”。为实现这一目标，研究者们提出多种方法，其中最主要的有语义嵌入和属性映射。

• 语义嵌入：将类别描述转化为AI能理解的语言

语义嵌入（Semantic Embedding）是零样本学习中最常用的一种技术。基本思想是，将类别名称或文本描述映射到高维的向量空间中，这个空间被称为“语义空间” 。在这个空间里，语义上相近的类别，对应的向量距离也更近。例如，“猫”和“狗”的向量距离，会比“猫”和“汽车”的向量距离更近。通过这种方式，模型用数学的方式“理解”类别之间的语义关系。

实现语义嵌入的方法有很多，最常用的是利用预训练的语言模型，如BERT或GPT系列模型 。模型在海量文本数据上进行训练，生成富含语义信息的词向量。例如，将“斑马”的文本描述“一种外形像马、身上有黑白条纹的动物”输入到BERT模型中，得到一个代表“斑马”概念的向量。模型将这个向量与图像特征进行匹配，实现对斑马的识别。

• 属性映射：通过已知属性推断未知类别

属性映射（Attribute Mapping）是另一种实现零样本学习的重要方法。核心思想是，将每个类别用一组属性（attributes）描述。属性是跨类别共享的，例如，对于动物分类任务，我们定义“有条纹”、“有翅膀”、“会游泳”等属性。每个类别都用一个属性向量表示，例如，“老虎”的属性向量可能是[有条纹=是, 有翅膀=否, 会游泳=否]。

在训练阶段，模型学习如何从图像特征中预测这些属性。在测试阶段，当遇到一个新类别（如“斑马”）时，只需要提供属性描述（如“有条纹=是, 有翅膀=否, 会游泳=否”），模型根据属性，将其与已知类别进行匹配，识别出“斑马”。这种方法的好处是，将复杂的类别识别问题，分解成更简单的属性识别问题，提高模型的泛化能力。

少样本学习的实现

与零样本学习不同，少样本学习的实现更侧重于如何让模型从极少量样本中快速学习和泛化。为实现这一目标，研究者们主要采用迁移学习和元学习两种策略。

• 迁移学习

迁移学习（Transfer Learning）是少样本学习的基础，核心思想是，将在一个大规模数据集（如ImageNet）上预训练好的模型（通常是一个深度神经网络），迁移到新的任务上 。预训练好的模型，就像一个“巨人”，已经学习到丰富的、通用的特征提取能力，例如，能识别图像中的边缘、纹理、颜色等基本特征。当面对一个新的、数据量很少的任务时，不需要从头开始训练一个模型，只需要在预训练模型的基础上，进行微调（fine-tuning）即可。

• 元学习

元学习（Meta-learning），被称为“学习如何学习”（learning to learn），是少样本学习的核心，目标是让模型学会一种通用的学习策略，能快速适应各种不同的新任务 。元学习的训练过程，是在大量不同的“任务”上进行的。每个任务都是一个独立的少样本学习问题，例如，一个5-way 1-shot的分类任务。模型在这些任务上进行训练，学习如何从一个支持集中快速提取有效信息，将其应用到查询集上。

• 支持集与查询集

在少样本学习中，数据被组织成支持集（support set）和查询集（query set）的形式 。支持集就是提供给模型的少量标注样本，模型需要通过学习样本掌握新类别的规律。查询集是模型需要进行预测的、未标注的样本。例如，在一个5-way 1-shot的任务中，支持集包含5个类别，每个类别有1个样本，总共5个样本。查询集包含多个属于这5个类别的样本，模型需要将它们正确分类。

核心原理

零样本学习和少样本学习能让AI具备“举一反三”的能力，背后蕴含着深刻的原理。原理的核心都是为让模型能够更好地利用已有的知识，理解和适应新的、未知的情况。

零样本学习的原理

零样本学习的原理，概括为“知识迁移”和“语义空间”的结合。通过将不同模态的信息（如图像和文本）映射到一个共享的语义空间中，建立起已知类别和未知类别之间的联系。

• 知识迁移：将已知类别的知识应用到未知类别

知识迁移（Knowledge Transfer）是零样本学习的核心原理之一。基本思想是将在已知类别上学到的知识，迁移到未知类别上。这里的“知识”，可以是模型的特征提取能力，也可以是类别之间的语义关系。例如，模型在识别“马”、“老虎”、“熊猫”等已知类别时，学习到如何提取动物的外形、颜色、纹理等特征。当需要识别“斑马”未知类别时，模型用已有的特征提取能力，分析斑马的图像，将其与“斑马”的文本描述进行匹配。

• 语义空间：在语义空间中建立已知与未知的联系

语义空间（Semantic Space）是零样本学习实现知识迁移的关键。它是高维的向量空间，在空间里，不同模态的信息（如图像特征和文本描述）被映射到同一个空间中 。通过这种方式，模型在同一个空间里，对图像和文本进行直接的比较和匹配。模型建立起已知类别（通过文本描述）和未知类别（通过图像特征）之间的联系，实现对未知类别的识别。

少样本学习的原理

少样本学习的原理，概括为“快速适应”和“相似性度量”。通过让模型学习一种快速适应新任务的能力，及一种有效的相似性度量方法，从极少量样本中进行学习。

• 快速适应：通过少量样本快速调整模型

快速适应（Fast Adaptation）是少样本学习的核心目标。在每个任务中，模型都需要从少量样本中快速学习，完成分类或其他任务。通过这种方式，模型学会通用的学习策略，使其快速适应各种不同的新任务。“学习如何学习”的能力，是少样本学习能够快速适应的关键。

• 相似性度量：学习样本之间的相似性

相似性度量（Similarity Metric）是少样本学习实现分类的关键。在少样本学习中，模型学习一种度量样本之间相似性的方法。例如，原型网络（Prototypical Networks）就是典型的基于相似性度量的少样本学习方法 。它的基本思想是，为每个类别计算一个“原型”（prototype），原型就是该类别所有支持集样本在特征空间中的中心点。对于查询集中的每个样本，模型计算与各个类别原型的距离，将其归类到距离最近的原型所属的类别。

应用领域

零样本学习和少样本学习的出现，极大地拓展了人工智能的应用边界。使AI能进入传统方法无法触及的领域，为解决现实世界中的各种难题提供新的思路和方法。从计算机视觉到自然语言处理，再到医疗、金融等专业领域，零样本和少样本学习都展现出巨大的应用潜力。

计算机视觉

• 图像分类：识别罕见物体

图像分类是计算机视觉中最基础的任务之一。在传统的图像分类任务中，模型需要识别出图像中的物体属于哪个预定义的类别。在现实世界中，物体的类别是无限的，我们不能为所有类别都收集到大量的标注数据。零样本学习和少样本学习为解决这个问题提供有效的途径。例如，在野生动物保护领域，研究人员利用零样本学习，通过输入“一种有长鼻子、体型巨大的灰色动物”这样的文本描述，从大量的野外相机照片中自动识别出大象，即使训练集中没有大象的图片。

同样，在少样本学习中，只需要提供几张新发现的物种的照片，模型能学会识别该物种，对于生物多样性研究和保护具有重要意义 。

• 目标检测：检测新出现的物体

目标检测是比图像分类更复杂的任务，不仅需要识别出图像中的物体，还需要确定位置（通常用边界框表示）。零样本和少样本学习技术同样被广泛应用在目标检测任务中，应对新类别物体的检测挑战。例如，在自动驾驶领域，车辆会遇到在训练数据中从未出现过的障碍物，如掉落的货物、横穿马路的动物等。用零样本学习，系统通过“一个方形的、金属质感的物体”这样的描述，检测出道路上新出现的、训练集中未包含的障碍物。

同样，少样本学习帮助系统快速学习识别新类型的车辆或交通标志，提高自动驾驶系统的安全性和鲁棒性。

• 图像生成：生成新的图像

零样本和少样本学习在图像生成领域也展现出巨大的潜力。例如，通过零样本学习，模型根据一段文字描述（如“一只戴着宇航员头盔的猫在月球上行走”）生成一张全新的、从未见过的图像。这种技术被称为文本到图像生成（Text-to-Image Generation），在艺术创作、游戏设计、广告等领域有着广泛的应用前景。

少样本学习能用在风格迁移等任务，例如，只需要提供几张某个画家的作品，模型能学会该画家的绘画风格，应用到其他图像上，生成具有该风格的新作品。

自然语言处理

• 文本分类：对新主题进行分类

在文本分类任务中，零样本和少样本学习帮助模型快速适应新的主题或领域。例如，在新闻分类中，当出现全新的新闻类别（如“元宇宙”）时，零样本学习模型通过对该类别的描述（如“关于虚拟现实、区块链和数字资产的新闻”）识别相关的新闻文章，无需重新训练模型。

同样，在情感分析中，少样本学习帮助模型快速适应新的产品或服务的评论，只需要提供少量标注好的评论样本，模型能学会判断用户对新产品的情感倾向。

• 问答系统：回答从未见过的问题

问答系统是NLP领域的重要应用。零样本和少样本学习帮助问答系统回答从未见过的问题。例如，通过零样本学习，模型根据对某个问题的描述（如“谁是美国第一任总统？”）生成答案，即使该问题没有出现在训练数据中。

少样本学习能帮助模型快速适应新的问答领域，例如，在医疗问答中，只需要提供少量关于某种疾病的问答对，模型能学会回答关于该疾病的常见问题。

• 机器翻译：翻译新的语言

机器翻译是NLP领域最具挑战性的任务之一。零样本和少样本学习在机器翻译中发挥着重要作用。例如，零样本机器翻译能实现两种从未在平行语料库中出现过的语言之间的翻译。通过用这两种语言与其他语言的翻译数据，及语言之间的语义相似性，模型能实现零样本翻译。对于保护濒危语言、促进跨文化交流具有重要意义。

其他领域

• 医疗诊断：辅助诊断罕见疾病

在医疗领域，罕见疾病的病例数据非常稀少，传统的监督学习方法难以训练出有效的诊断模型。零样本和少样本学习为解决这个问题提供新的思路。例如，通过零样本学习，模型根据对某种罕见疾病的描述（如“一种遗传性疾病，主要表现为皮肤白斑、毛发变白和视力问题”）识别相关的医学影像。

少样本学习通过少量罕见疾病的病例，帮助模型学习疾病的特征，辅助医生进行诊断。

• 金融风控：识别新型欺诈模式

在金融领域，欺诈手段不断翻新，传统的风控模型难以应对新型的欺诈模式。零样本和少样本学习能帮助金融机构快速识别新型的欺诈行为。例如，通过零样本学习，模型根据对新型欺诈模式的描述（如“利用虚假身份信息申请贷款”）识别相关的交易记录。

少样本学习通过少量已知的欺诈案例，帮助模型学习新型欺诈的特征，提高风控系统的准确性和时效性。

• 自动驾驶：应对新的交通场景

自动驾驶是AI技术的重要应用领域。在复杂的交通环境中，车辆会遇到各种从未见过的场景，如新的交通标志、新的路况等。零样本和少样本学习能帮助自动驾驶系统快速适应新场景。例如，通过零样本学习，系统根据对新的交通标志的描述（如“一个蓝色的、圆形的标志，中间有一个白色的箭头”）识别该标志。

少样本学习通过少量新场景的数据，帮助系统学习如何应对这些场景，提高自动驾驶的安全性和可靠性。

价值与优势

零样本学习和少样本学习的出现，为人工智能的发展带来革命性的变化。不仅解决传统机器学习方法在数据稀缺场景下的困境，更重要的是，赋予AI更接近人类的学习和认知能力，带来巨大的价值和优势。

降低数据依赖

• 减少数据标注成本

数据标注是耗时耗力且成本高昂的工作。在许多领域，如医疗、金融、法律等，数据标注需要领域专家的参与，成本更是高昂。零样本学习通过完全摆脱对新类别样本的依赖，将数据标注成本降至零。少样本学习将所需样本数量从成千上万减少到个位数，极大地降低数据标注的成本。使得AI技术能应用到更多资源有限的场景，推动AI技术的普惠化。

• 解决数据稀缺问题

在许多现实场景中，获取大规模标注数据几乎是不可能的。例如，在医疗领域，罕见疾病的病例数据非常稀少；在工业制造中，新产品的缺陷样本在初期几乎不存在。零样本和少样本学习为这些问题提供有效的解决方案。

提高学习效率

• 加快模型部署速度

传统的监督学习模型在部署到新任务时，需要经历数据收集、标注、模型训练和调优等漫长的过程。零样本和少样本学习模型可以跳过或简化骤。零样本学习模型直接利用对新类别的描述进行推理，无需任何训练过程。少样本学习模型通过少量样本快速适应新任务，大大缩短模型部署的时间。这种快速部署的能力，使AI系统更灵活地应对动态变化的环境。

• 快速适应新任务

现实世界中的任务是不断变化的，AI系统需要具备快速适应新任务的能力。零样本和少样本学习正是为满足这一需求而设计。它们使得AI模型像人类一样，通过极少的示例甚至仅凭描述，能快速掌握新技能。这种快速适应的能力，对于需要持续学习和进化的AI系统至关重要，例如，在个性化推荐、智能客服、在线教育等领域。

挑战与局限

准确性问题

• 零样本学习的准确性有待提高

零样本学习模型完全依赖于辅助信息进行推理，准确性在很大程度上取决于辅助信息的质量和模型的语义理解能力。在现实世界中，辅助信息往往是模糊、不完整甚至带有偏见的。模型在将视觉特征和语义特征进行匹配时，容易出现偏差。零样本学习模型的准确性低于传统的监督学习模型，尤其是在复杂的视觉任务中。如何提高零样本学习的准确性，能媲美甚至超越监督学习，是一个亟待解决的问题。

• 少样本学习容易过拟合

少样本学习的核心挑战之一是如何避免过拟合。由于模型只接触到极少量样本，很容易“记住”这些样本的特定特征，没有学到具有泛化能力的规律。当遇到新的、与训练样本略有不同的样本时，模型可能做出错误的判断。这种现象被称为过拟合。虽然元学习等技术在一定程度上缓解了过拟合问题，但仍然是限制少样本学习性能的一个主要瓶颈。

数据质量问题

• 少量样本可能带有偏差

在少样本学习中，由于样本数量极少，样本可能无法代表整个类别的真实分布。例如，在识别“狗”这个类别时，如果提供的几张图片都是白色的、毛茸茸的狗，模型可能认为所有的狗都应该是白色的、毛茸茸的，将其他颜色的狗错误地分类。样本偏差会严重影响模型的泛化能力。

• 数据噪声对模型性能影响大

在零样本学习中，辅助信息是通过人工标注或从网络上自动获取的，其中包含大量的噪声和错误。例如，对某个类别的描述可能不准确，或者包含与该类别无关的信息。数据噪声会误导模型，使其学习到错误的知识，降低模型的性能。

泛化能力问题

• 模型在未知类别上的泛化能力有限

零样本和少样本学习的目标是让模型能泛化到从未见过的类别。在实际应用中，模型的泛化能力往往是有限的。例如，零样本学习模型只能泛化到与已知类别语义相近的未知类别，对于那些与已知类别差异较大的未知类别，模型的性能会急剧下降。少样本学习模型也只能泛化到与训练样本相似的样本，对于差异较大的样本，模型的性能会受到影响。

• 跨领域迁移能力有待提升

目前，大多数零样本和少样本学习模型都是在特定领域（如图像分类）进行研究和评估的。在现实世界中，AI系统需要具备跨领域迁移的能力。例如，一个在图像领域表现出色的零样本学习模型，无法直接应用到自然语言处理领域。如何提升模型的跨领域迁移能力，使其能在一个领域学到的知识应用到其他领域，是一个具有挑战性的研究方向。

未来展望

随着大模型和多模态技术的不断进步，AI将能更好地理解和处理复杂的信息，实现更强大的零样本和少样本学习能力。在开放世界场景中的应用将推动AI的持续学习和适应能力，能更好地应对现实世界的挑战。新兴技术如扩散模型、提示工程等的应用，将为零样本和少样本学习带来更多的创新和突破。可以预见，未来的AI将更加智能、高效和普适，能更好地服务于人类社会，为解决各种复杂问题提供强大的支持。