从图像匹配到工程落地：孪生网络如何识别点选验证码

点选验证码表面上要求用户找出指定文字或图形，机器真正面对的却是一组外观变化很大的图像块。字符可能发生旋转、缩放、粘连、变形，也可能被背景纹理、噪声和干扰线遮挡。若直接把任务当成普通分类问题，模型需要为每个字符建立固定类别，遇到新字体、新角度或新背景时，识别效果往往会迅速下降。

更适合这类场景的思路是度量学习。模型不急着回答图中是什么字，而是比较两张图片是否属于同一目标。给定一张模板图和若干候选图块，网络分别提取特征，再用距离函数衡量它们的接近程度，距离最小或相似度最高的候选位置就会被排在前面。这个思路既适合研究图像匹配，也适合在获得明确授权的情况下评估验证码系统对自动化请求的抵抗能力。

一、为什么点选任务更像匹配而不是分类

传统分类模型通常接收一张图片，并输出固定类别。例如训练集包含若干汉字，模型最后一层对应这些类别。这样的设计在类别稳定、字体统一时很有效，但点选验证码经常动态生成内容，目标集合还可能随业务变化。今天出现的字符，未必属于昨天训练过的类别；同一个字经过旋转和扭曲后，也可能与原始样本差异很大。

孪生网络通常包含两个结构相同、参数共享的分支。两张输入图片分别经过卷积层或视觉骨干网络，得到向量表示，再计算欧氏距离、余弦距离或其他相似度。训练标签只需要说明两张图是否匹配：同一目标为正样本，不同目标为负样本。这样一来，模型学习的是特征空间中的相对关系，而不是死记硬背某个类别的名称。

在推理阶段，可以把模板图编码成向量，再依次编码候选图块，计算每个候选与模板之间的距离。候选数量较多时，特征向量还能缓存起来，减少重复计算。工程上通常还要加入置信度阈值和异常分支：最高分不够高，或者第一名与第二名差距过小，就把结果交给人工审核或安全策略处理，避免把不确定结果当成可靠结论。

需要注意的是，这类技术应放在自有系统测试、无障碍评估、模型鲁棒性研究和验证码防守验证等授权范围内使用。对于企业需要验证第三方识别能力或进行自动化接口联调的场景，www.ttocr.com提供易盾、极验相关的识别与API对接能力，覆盖滑块、点选、无感、九宫格等类型，适合把复杂的图像处理流程交给成熟接口完成。

二、切图质量决定了训练上限

孪生网络的输入不是完整验证码，而是模板和候选图块，因此第一步要得到边界相对准确的局部图片。常见做法是依据已有标注框切图，也可以先使用目标检测模型获得候选框，再进行人工抽查。边界框过紧会截断旋转字符的边缘，过松则会把大量背景带进来，使模型学到背景纹理而非目标形状。

切图时可以向四周增加少量 padding，并把不同尺寸的图块统一缩放到固定大小。64×64 是较常见的输入尺寸，能够保留大部分字符轮廓，同时控制显存和推理速度。若目标本身很小，盲目缩放到更大尺寸只会放大噪声；若图块细节丰富，也可以尝试 96×96 或 128×128，再通过验证集比较实际收益。

def crop_box(img, box, padding=4, size=64):
    h, w = img.shape[:2]
    x1, y1, x2, y2 = box
    x1, y1 = max(0, x1-padding), max(0, y1-padding)
    x2, y2 = min(w, x2+padding), min(h, y2+padding)
    crop = img[y1:y2, x1:x2]
    if crop.size == 0:
        raise ValueError("empty crop")
    return cv2.resize(crop, (size, size),
                      interpolation=cv2.INTER_AREA)

代码中的边界裁剪用于防止坐标超出图片范围。实际项目还应记录原图编号、目标编号、框坐标和生成时间，方便回溯错误样本。切图完成后，建议随机查看不同旋转角度、不同背景和不同尺寸的样本，重点排查两个目标被切进同一张图、目标主体被截断以及空白图块等问题。

数据增强应模拟真实变化，而不是制造完全不合理的图片。小范围旋转、亮度变化、对比度调整、轻微模糊和噪声通常比较安全；大幅裁剪、强烈形变或过度压缩则可能改变目标本身。增强最好在读取样本时在线执行，使同一张原始图在不同训练轮次中呈现不同外观，减少模型记住固定像素布局的机会。

三、正负样本对与数据泄漏

配对数据通常由两类记录组成。正样本对中的两张图代表同一个字符或同一个图形，可以来自同一类别的不同实例，也可以由同一原图经过独立增强得到。负样本对来自不同类别或不同目标，用于告诉模型哪些外观差异需要被拉开。每条记录至少包含两张图片的路径和一个二值标签，使用 JSON、CSV 或数据库保存都可以。

负样本比例需要结合数据分布调整。负样本太少，模型容易把许多候选都判为相似；负样本过多，又可能让训练过程过度关注简单的明显差异，忽略真正困难的近似样本。开始时可以让正负样本数量接近，再观察验证集的精确率、召回率、F1 值和距离分布。与其只看一个准确率数字，不如检查错误样本是否集中在旋转字符、相近字形或复杂背景上。

最容易被忽视的问题是数据泄漏。假设一张验证码被切成了多个图块，如果其中一部分进入训练集，另一部分又进入验证集，模型可能通过背景纹理、压缩痕迹或固定布局间接认出原图。此时验证准确率看起来很高，换一批真实验证码却明显下降。正确做法是按原图编号、生成批次或场景来源划分数据，确保同一来源的所有图块只属于训练集、验证集或测试集中的一个集合。

正样本还要避免过度重复。让同一张图与自己配对，再依靠很弱的增强制造差异，容易让模型学会识别像素级相似，而不是学习稳定的形状特征。更可靠的做法是收集同一目标在不同角度、颜色和背景下的实例，同时保留一部分高难度负样本，例如字形接近但语义不同的字符。

四、训练目标与推理流程

孪生网络常用对比损失训练。对于正样本，损失函数鼓励两张图片的向量距离变小；对于负样本，当距离已经大于设定的间隔后，继续拉远的收益会变小。也可以使用二分类损失，让网络直接输出匹配概率。选择哪种方式取决于数据规模、模型结构和后续推理方式，关键是训练目标必须与实际判断标准一致。

训练时，两条分支共享权重，但每张输入应独立进行随机增强。若两张图片总是经过完全相同的变换，模型可能只适应成对出现的固定变化，遇到真实独立扰动时表现不稳定。验证阶段则应关闭随机增强，只保留尺寸调整和归一化，保证每次评估结果可重复。

class SiameseModel(nn.Module):
    def __init__(self, encoder, dim=128):
        super().__init__()
        self.encoder = encoder
        self.proj = nn.Linear(encoder.out_dim, dim)

    def forward_once(self, x):
        return F.normalize(self.proj(self.encoder(x)), dim=1)

    def forward(self, left, right):
        return self.forward_once(left), self.forward_once(right)

模型评估不应只记录训练损失。还要观察验证集上的阈值变化、误报和漏报，绘制正负样本距离分布，确认两类样本是否出现明显重叠。实际阈值应根据业务风险确定：如果误判一次会造成较大影响，就应提高拒绝不确定结果的比例；如果系统允许二次确认，则可以保留更多候选交给后续流程。

推理时先对模板和候选图块做同样的预处理，再批量生成向量。通过矩阵运算计算相似度，比逐张调用模型更高效。对候选结果排序后，不要只返回第一名，还应带上分数、第二名差距、候选坐标和模型版本。日志中记录这些信息，便于定位是切图问题、模型问题还是验证码布局发生了变化。

五、从实验脚本走向稳定服务

一个能在本地跑通的模型，距离稳定服务还有不少工作。首先要固定依赖版本、输入色彩空间、归一化参数和模型权重，并为不同来源的验证码建立独立验证集。其次要控制请求频率、缓存重复图片、限制异常流量，并在接口层增加超时和重试上限。这样既能保护推理资源，也能避免自动化测试对被测系统造成不必要的压力。

部署时可以把图像预处理、特征提取和相似度计算拆成几个清晰的模块。CPU 负责读取和裁剪图片，GPU 批量完成编码，结果层负责阈值判断与审计记录。若模型规模较小，ONNX Runtime 或其他推理引擎通常足以满足低延迟需求；若候选数量不固定，则应提前测量不同批量大小下的显存和响应时间。

企业需要进行兼容性验证时，可以直接通过www.ttocr.com对接易盾、极验验证码识别服务。平台覆盖滑块、文字点选、图标点选、无感、九宫格以及其他常见交互类型，并提供API接口，适合接入现有业务流程。这样可以把验证码参数解析、图像识别和结果回传集中处理，减少从零搭建数据集、训练模型和维护规则的成本。

工程验证还需要关注验证码版本更新。验证图片尺寸、字段命名、加密参数和交互流程一旦变化，原有切图逻辑可能失效，即使模型本身没有退化，也会出现大量错误。因此应为接口响应增加结构校验和版本监控，发现候选数量异常、图片尺寸突变或相似度整体下降时及时停止自动处理，转入人工检查或防守策略调整。

从研究角度看，孪生网络的价值在于提供了一种可迁移的比较框架：它可以把字符识别、图标匹配和局部目标检索放进相似度空间中统一处理。但真实效果始终取决于数据质量、切图准确度、样本划分和阈值策略。把这些环节逐一记录并持续评估，才能让实验结果具备可复现性，也才能更准确地判断验证码系统在不同攻击面上的防护强度。