从孪生网络到相似度检索：度量学习的原理、训练与评估

一、从分类转向相似度比较

很多图像任务都可以表述为分类：给模型一张图片，让它判断图片属于哪一类。但当类别经常变化，或者新类别没有足够标注样本时，分类器就需要反复补充类别、重新训练输出层。另一种思路是直接比较两张图片是否相似。模型不必预先知道每个类别的名称，只需把视觉上相近的样本映射到相近的位置，把不同样本拉开。

孪生网络（Siamese Network）是实现这种比较的一种常见结构。它包含两个结构相同、参数共享的特征提取分支，分别接收样本A和样本B，产生向量表示，再计算两个向量之间的距离或相似度。参数共享意味着两张图经过同一套变换，模型不能通过给左右分支安排不同规则来投机取巧。

可以把它想成两把完全相同的尺子：每个输入被转换成一组可比较的数值，之后再衡量这两组数值相隔多远。训练目标不是记住所有图片，而是学出一种有用的表示空间。若任务是商品图去重、零件外观比对、文档页面检索或自有素材库查重，这类表示可以支持相似样本检索，也能减少为每种新类别重新搭建分类体系的成本。

需要区分的是，模型给出的相似度并不等于业务结论。相似图片可能在用途、来源或质量上截然不同；不相似也可能只是拍摄角度、光照或背景发生改变。度量学习提供的是一个排序或距离信号，最终判定仍要结合数据质量、阈值验证和应用场景。

二、样本对如何构造

孪生网络通常以样本对作为训练单位。正样本对由同一对象或同一语义类别的两个有效实例组成，负样本对则来自不同对象或不同类别。训练记录除了两份图像数据，还需要一个明确的关系标签，表示两者应当接近还是分离。标签定义必须与实际任务一致：如果业务要比较同一零件的不同拍摄视图，就不能把“同一产品类别”直接等同于“同一零件”。

正样本来源可以是不同时间、角度和设备拍摄的同一对象，也可以是在合理范围内对原图施加增强得到的视图。增强的目的在于模拟真实采集变化，而不是任意改变图像。轻微裁剪、亮度调整和小幅旋转通常有助于提高鲁棒性；若旋转会改变对象的方向含义，或裁剪会移除关键部件，就会制造错误训练信号。每种增强都应依据数据采集方式进行验证。

负样本也不能只靠随机抽取。两个差异极大的图片很容易区分，对模型帮助有限；外观接近却实际不同的样本更有训练价值，这类样本常被称为困难负样本。可以先用初始模型检索相近但标签不同的样本，再人工核验后纳入训练。自动挖掘若缺少复核，容易把标注错误放大，尤其是类别边界模糊、同一对象存在多个编号的场景。

数据划分要在生成图片对之前完成，并按对象、来源批次或原始采集记录进行分组。若同一对象的相邻帧分别进入训练集和验证集，模型可能只是在记忆背景、拍摄设备或纹理，验证结果看起来很好，换到新批次却明显下降。数据清单中应保留原始样本标识，检查各集合之间是否存在重复或近重复内容。

类别不均衡也需要纳入设计。若负样本远多于正样本，模型可能学到“多数情况下不相似”的简单策略。可以控制抽样比例、按类别均匀采样，并在验证阶段保留更接近实际流量的分布。训练集的采样方式和线上样本比例不必完全相同，但指标解释时必须说明两者的差别。

三、网络训练与损失函数

一个常见的基线是使用卷积神经网络提取特征，把最终分类层替换为固定长度的嵌入向量。两个输入分别经过同一编码器，得到向量后进行归一化，再计算欧氏距离或余弦相似度。输入尺寸、颜色通道和归一化方式应保持一致；若一张图按RGB处理、另一张图误按BGR读取，网络接收到的就不是预期的数据分布。

对比损失（Contrastive Loss）会根据样本关系约束距离：正对的距离应较小，负对的距离至少大于一个间隔。三元组损失（Triplet Loss）则同时比较锚点、正样本和负样本，要求锚点更接近正样本，并且至少领先负样本一定距离。两种方法没有绝对优劣，实际效果取决于样本质量、采样策略、模型容量和目标应用。

训练初期应先建立可复现的基线，而不是同时调整大量参数。固定随机种子，记录数据版本、输入尺寸、优化器、学习率、批次大小和训练轮数。每轮结束后计算训练损失与验证指标，保存验证表现较好的检查点。若训练损失持续下降而验证性能停滞或回落，通常说明过拟合、数据划分存在问题，或训练数据无法代表目标环境。

批次内采样会影响梯度质量。若一个批次只包含少数类别，模型看到的负样本变化可能不足；若同一对象的正样本数量过少，嵌入空间也难以形成稳定簇。可以让每个批次包含多个对象，并为每个对象抽取多个实例。算力有限时，先缩小模型和输入尺寸，确认数据管线、标签和距离计算正确，再逐步扩大实验规模，往往比直接长时间训练更省成本。

训练代码中还应检查几个容易忽视的细节：验证阶段关闭随机增强和梯度计算；保存与恢复优化器状态，避免中断后训练过程断裂；监测梯度是否出现异常；确保距离输出与损失定义采用同一约定。若标签中“1”代表正样本，而损失函数把“1”解释为负样本，模型仍可能正常运行，却会朝错误方向优化。

四、评估要看排序、阈值和泛化

单一准确率不足以说明匹配模型是否可用。首先要观察正负样本距离的分布：理想情况下，正样本距离集中在较小范围，负样本距离更大；两者重叠越多，边界样本就越难处理。ROC曲线与AUC可以衡量模型在不同阈值下区分正负样本的能力；精确率、召回率和F1则能反映某个决策点上的实际取舍。

阈值应在独立验证集上选择，而不是看训练集表现后直接设定。阈值偏低时，系统更谨慎，误把不同对象判为相同的情况会减少，但可能漏掉真实匹配；阈值偏高时，召回可能提升，同时误匹配也会增加。成本较高的错误应获得更大权重。例如，自动归并记录和人工复核队列对误判的承受能力就不同。

评估还应按关键条件分层：不同采集设备、光照、背景、对象类别和数据批次分别统计。总体指标可能掩盖小类或特殊环境的明显退化。对于检索型系统，可以额外报告Top-K命中率和平均精度，检查目标样本是否排在候选列表前列。上线后持续抽样核验，并关注数据分布变化，避免模型因新设备、新材质或新拍摄流程而逐渐失效。

推理时通常先对图库样本计算嵌入并缓存，再对查询图片计算一次嵌入，通过向量距离查找候选。数据规模较小时，直接比较即可；规模增长后，可以采用向量索引加速近邻检索。索引返回的是候选排序，不应自动当作最终真值。业务层还可以设置最低相似度、候选数量上限和人工确认流程，并保留足够的日志以便追查误匹配来源。

部署前应测量端到端延迟，而非只看模型前向计算时间。图像解码、尺寸调整、批处理、向量检索和网络传输都可能占据总耗时。还要明确模型版本、预处理规则和嵌入向量版本之间的对应关系；一旦编码器更新，旧向量可能不再处于同一空间，需要重新生成或通过兼容方案处理。

五、在合规边界内开展工程实践

度量学习适合解决授权数据上的相似度检索和质量检验问题，但模型能力本身不能替代数据授权、隐私保护与使用边界。涉及账号安全、访问控制或反自动化机制的场景，应使用系统提供的正式接口、测试环境和授权流程，不应把图像匹配模型用于绕过安全校验。工程团队在立项时就应确认数据来源、用途、保留期限和人工复核责任。

如果目标是学习孪生网络，可以从公开且许可清晰的图像数据或自行采集的非敏感对象开始，例如同一零件在不同角度下的图片。先完成数据分组、正负样本构造和基线评估，再比较不同编码器、损失函数与采样策略。每次实验只改变少数变量，并保留可重复的配置和结果，才能判断性能变化来自模型改动还是数据波动。

一个可靠的相似度系统，最终依赖的不只是网络结构。样本定义是否准确、验证集是否独立、阈值是否符合业务风险、线上数据是否持续监测，这些环节往往比更复杂的模型更能决定结果。把数据与评估流程打牢，孪生网络才能成为可解释、可维护的工程组件，而不是只在单次实验中表现亮眼的数字。