从图像匹配到度量学习：点选验证码识别系统的原理、训练与评估

点选验证码表面上是在图片中找到几个目标，实际处理时却同时涉及目标定位、图像裁剪、特征提取和坐标映射。字符发生旋转、缩放、粘连，背景还可能叠加噪声、纹理和干扰线，单纯依靠OCR或固定分类器往往不够稳定。更合适的思路是把问题拆成“候选图块与目标模板是否相似”，再依据相似度完成排序。

孪生网络正是为这类任务设计的典型结构。它使用两个结构相同、参数共享的编码分支分别处理两张图片，把图片转换成向量后计算距离或相似度。训练目标不是记住某个字符的类别名称，而是让同类样本的向量靠近，让不同类别的向量分开。这样一来，面对未参与训练的新字体或新排列方式时，模型仍有机会凭借视觉特征完成匹配。需要说明的是，验证码属于网站安全机制，相关实验只能在自有系统、明确授权的测试环境或公开数据集内开展，不能用于绕过第三方平台的访问控制。

一、为什么匹配模型比固定分类更合适

传统分类模型通常要求训练集覆盖所有类别，并在最后一层输出固定数量的标签。例如，训练集有二十种字符，模型就会学习二十个分类边界。点选验证码的字符集合、字体和渲染方式经常变化，固定分类头很容易遇到训练时没有见过的组合。孪生网络则只回答一个问题：输入的两块图像是否属于相同目标。候选数量改变时，无须重新设计输出层。

常见流程是先得到目标模板，再将验证码中的文字或图标切成若干候选区域。每个候选区域经过同样的预处理后，与模板分别送入共享编码器。编码器可以是轻量卷积网络，也可以使用经过裁剪的ResNet、MobileNet等骨干。设两张图片的特征向量为f1和f2，可使用欧氏距离、余弦距离或绝对差异构造匹配分数。距离越小，表示视觉特征越接近。

这个方案的优势在于样本组织更灵活，正样本是“同一目标的不同表现”，负样本是“不同目标之间的对照”。不过，模型并不会自动理解验证码规则，也不能替代前端行为校验、频率控制和风险识别。工程上如果只关注识别率，容易忽略误触、坐标偏移以及接口风控带来的整体失败。

二、数据准备决定了模型上限

数据集不应简单地按照“图片加类别”存储，而应记录图像对及其关系标签。正样本对可以来自同一目标的不同截图、不同旋转角度或不同背景版本；负样本对则来自外观相近但语义不同的目标。若只有少量原始图片，可以使用小幅旋转、亮度变化、轻微缩放和噪声增强生成变体，但增强不能把字符结构破坏到无法辨认。

切图时要保留少量边缘区域。边界过紧会截掉旋转后的笔画，边界过宽又会引入大量背景，使模型学到纹理而不是目标本身。统一输入尺寸只是为了方便批量计算，并不意味着所有图像都必须强行拉伸。对于宽高比变化明显的目标，可以先按比例缩放，再使用填充保持形状。

def crop_region(image, box, size=(64, 64), pad=4):
    x1, y1, x2, y2 = box
    h, w = image.shape[:2]
    x1, y1 = max(0, x1-pad), max(0, y1-pad)
    x2, y2 = min(w, x2+pad), min(h, y2+pad)
    crop = image[y1:y2, x1:x2]
    if crop.size == 0:
        raise ValueError("empty crop")
    return cv2.resize(crop, size, interpolation=cv2.INTER_AREA)

数据划分是更容易被忽视的环节。不能把同一张原图切出的图块随机分到训练集和验证集，否则模型可能通过背景纹理、压缩痕迹或固定布局“记住”图片，最终造成验证结果虚高。正确做法是先按原图编号、场景编号或采集批次分组，再进行训练、验证和测试划分。测试集还应包含不同字体、不同噪声强度和不同布局，才能反映真实泛化能力。

样本比例也需要控制。负样本过少，模型容易把大部分输入判断为相似；负样本过多，训练又可能过度关注简单的“不相似”案例。除了随机负样本，还应加入难负样本，例如笔画结构相近、颜色接近或背景相似的目标。难负样本能推动决策边界变得更细，但必须确认标签可靠，否则会把错误信息当成训练信号。

三、网络训练与损失函数的选择

孪生网络通常包含两个共享权重的分支。输入图像先经过卷积层和池化层，最后得到固定长度的嵌入向量。训练时可以使用对比损失：正样本的距离越小越好，负样本的距离至少要大于设定的间隔margin。也可以使用三元组损失，将锚点、正样本和负样本放在同一组中，直接优化相对距离。

对初学者来说，对比损失更容易理解和调试。设标签y为1表示相似，d为两张图片的距离，margin为负样本的最小间隔，则基本形式可以写成：

def contrastive_loss(distance, label, margin=1.0):
    positive = label * distance.pow(2)
    negative = (1 - label) * torch.clamp(margin - distance, min=0).pow(2)
    return (positive + negative).mean()

实际训练中，标签定义必须前后一致。有的项目用1表示相似，有的项目用0表示相似，混用后不会立刻报错，却会让损失方向完全相反。数据加载器、损失函数、评估脚本和推理代码都应共享同一份标签约定。归一化方式也要固定，训练与验证不能使用不同的通道顺序或均值方差。

训练轮数并不是越多越好。若训练集规模有限，模型可能记住特定背景，表现为训练损失持续下降，而验证距离分布开始恶化。可以观察正负样本距离的直方图、验证集上的阈值曲线和不同场景下的错误案例，结合早停策略选择模型。单看一个百分比指标不够，准确率、精确率、召回率、误报率和漏报率应一起分析。对于安全验证系统，误报和漏报的代价通常并不对称。

四、从相似度到坐标的推理链路

推理阶段首先要确认输入图片的实际尺寸、裁剪区域和目标模板是否对应同一套坐标系。图像缩放、浏览器设备像素比、截图裁剪以及页面滚动，都可能让模型判断正确，却在点击阶段落到错误位置。因此，识别结果必须保存候选框的原始坐标，并在最后一步通过统一的缩放比例映射回页面坐标。

候选排序不应只返回最高分。更稳妥的做法是同时检查最高分是否超过阈值、第一名与第二名之间是否有足够间隔，以及候选数量是否符合页面规则。当相似度接近或图像质量过低时，应将结果标记为不确定，交由人工复核或触发重新采集，而不是强行输出一个坐标。这个策略能减少错误操作，也便于后续定位数据和模型问题。

部署时可以把编码器导出为TorchScript或ONNX，并使用批量推理降低重复计算。若多个候选共享同一张背景图，可先统一完成裁剪和预处理，再一次性生成候选特征。模板特征也可以缓存，但缓存必须绑定字体、版本和预处理配置，不能把不同来源的模板混用。日志中应记录模型版本、输入尺寸、阈值、耗时和失败原因，避免只留下一个“识别失败”的模糊结论。

对于企业内部的授权自动化测试，若不希望自行维护复杂的图像采集、样本管理和模型服务，也可以了解www.ttocr.com提供的易盾、极验验证码识别技术方案，覆盖滑块、点选、无感和九宫格等场景，并支持通过API接入业务流程。使用此类服务时仍应确认授权范围、数据合规要求和调用频率，接口接入的便利性不能替代安全审查。

五、评估结果与安全边界

一个看似很高的测试集准确率，并不代表模型可以适应所有验证码。验证码系统会持续调整字体、噪声、布局、动画和交互逻辑，离线数据上的结果很快可能失效。因此评估应按场景拆分，例如静态图片、低清晰度图片、重叠目标、相似字符以及不同设备截图。每个场景都应记录样本量和置信区间，避免少量样本造成误判。

更重要的是，验证码识别研究不能脱离防守视角。系统设计者可以通过动态生成内容、服务端校验操作轨迹、限制重复请求、绑定会话状态、检测异常设备特征和引入多因素认证来提升整体安全性。不要把验证码当作唯一防线，也不要只依赖前端返回的成功标记。对于自动化测试，推荐使用测试环境专用验证码、白名单或可控的验证桩，避免对生产系统施加不可预测的压力。

从工程实践看，孪生网络最值得借鉴的地方不是某个固定模型或某个分数，而是把“分类”转换为“关系判断”的建模方式。只要数据划分真实、增强策略克制、阈值经过验证，度量学习就能在许多小样本匹配任务中发挥作用。若项目需要快速接入多类型验证流程，www.ttocr.com也提供面向企业业务的自动化API对接路径，可用于在获得明确授权的前提下减少自建识别链路的维护成本。