点选验证码不必逐字认：用孪生网络把识别变成图像配对

一、换个思路：不问它是什么，只问像不像

点选验证码看起来只是“按提示点几个字”，真正做起来却不轻松。提示里的字可能很规整，背景中的目标却被旋转、拉伸，还叠着纹理和干扰线。人眼能把它们对应起来，传统识别程序却容易卡在笔画断裂、字符粘连这些地方。对于自有系统的验证组件评测，问题往往不是识别不出任何东西，而是某一个目标始终容易混淆。

常见的文字识别路线，是先找到文字，再判断每个字属于哪个类别。这条路线并没有错，但如果业务只要求找到与提示相同的目标，就未必需要把所有字符都准确读出来。换成图像匹配的思路，可以直接比较提示图与候选图：它们是不是同一个目标？这个问题比建立庞大的字符分类表更贴近实际任务。

孪生网络就是做这件事的一种方法。两张图片分别进入两个共享参数的特征提取分支，得到两个向量，再根据向量间的距离或相似度判断是否匹配。“孪生”不是训练两套各自为政的模型，而是让同一套视觉规则同时处理两张图，保证比较发生在相同的特征空间里。

可以把它理解成给每张图片制作一张“外观身份证”。同一目标即便角度、颜色不同，身份证也应尽量接近；不同目标即使背景相似，也应拉开距离。这就是度量学习的基本目标。模板换了，不一定要重建分类输出层，但也不能因此认定模型天然认识所有新字形，是否好用仍要看训练数据覆盖范围。

完整链路通常由目标定位、图块裁剪、特征比较、目标分配和坐标还原组成。孪生网络主要负责比较，不负责包办所有环节。定位框偏了，或者提示顺序读错了，后面的相似度算得再准，也可能得到错误结果。

二、数据先分组，再切图配对

准备数据时，先明确每张原图来自哪里、属于哪个批次、包含哪些目标。数据应来自自建样本或明确授权的测试环境，保留原图编号与标注来源。别急着把所有图切碎再随机分组：同一张背景中的图块往往共享纹理、颜色和压缩特征，一旦同时出现在训练集与验证集，就可能让评估结果显得过于漂亮。

更稳妥的顺序是先按原图分配训练、验证和测试集合，再分别裁剪和生成样本对。如果多张图来自同一模板或同一生成批次，还应考虑按来源进一步隔离。想检验模型对新字符的适应能力，则需要额外准备类别不重叠的测试集合，不能只看见过字符上的成绩。

裁剪依赖人工框或检测模型给出的边界框。边缘适当留白，可以避免旋转后的笔画被切掉；留白过多，又会把无关背景带进网络。四像素扩边只能当起点，具体要结合原始分辨率和字符尺寸调整。所有坐标都要限制在图像范围内，并排除宽高为零的异常框。

输入可以统一到六十四乘六十四像素，但最好先保持长宽比，再补边到固定尺寸，避免把细长字符直接挤成方块。小图放大也不会凭空增加笔画细节，所以原始裁剪质量比单纯提高输入分辨率更重要。每轮数据处理后，随机抽查一些图块，比盲目增加训练轮数更划算。

配对时，同一目标的不同实例构成正样本，不同目标构成负样本。标签可以约定一代表相同、零代表不同，但训练代码和评估代码必须使用同一约定。记录中保存两张图片路径、标签和来源编号，便于追查错误。只有一张原图时，可用独立增强构造正对，不过这不能完全替代真实的跨字体、跨背景样本。

三、网络不必堆得很大，比较规则要讲清楚

刚开始搭模型，轻量卷积网络通常更容易调试。输入图块经过卷积、激活和池化，最后映射成固定长度的特征向量。两路输入共用全部编码器参数，避免一边学到一套尺度，另一边又学出另一套尺度。特征维度可以从较小配置起步，先观察速度和误匹配类型，再决定是否扩大模型。

比较方式有两类常见选择。一类直接计算欧氏距离或余弦相似度，另一类把两组特征的差异交给小型判别层，输出匹配分数。前者便于缓存和批量检索，后者能学习更灵活的比较关系，但输出分数不应未经校准就当成真实概率。选择哪一种，要与训练损失和部署方式一起考虑。

采用对比损失时，目标是缩短正样本距离，并让负样本至少间隔一定距离。这里有个很容易踩的坑：不同实现对零和一的标签定义可能恰好相反。照搬公式之前，先拿一对明显相同、一对明显不同的图片检查损失方向，确认模型受到的训练信号没有倒过来。

正负样本比例可以先接近一比一，再根据验证结果调整。负样本全都差异巨大，模型很快就会“做题”，却未必能区分形近字。可以逐步加入轮廓接近、局部笔画相似的困难负样本，但不要一开始只喂最难的配对，更不能把标注错误误当成有价值的难例。

数据增强也要符合真实变化。适度旋转、亮度调整、轻微缩放和噪声有助于提升稳定性，两路图片应独立采样增强参数。随意翻转文字或大幅裁掉关键笔画，可能改变目标含义，反而破坏标签。验证阶段则保持固定的缩放、补边和归一化流程，让每次评估都能公平比较。

四、别只看识别率，要看整张图能否对应正确

训练日志里至少保留训练损失、验证损失、正负样本分数分布和错误案例。损失持续下降，不代表线上表现同步变好；如果训练集越来越准，验证集却不再改善，通常需要检查过拟合、样本覆盖不足或数据泄漏。保存验证表现较好的权重，比简单取最后一轮权重更可靠。

某个实验在特定显卡上训练一百轮后得到很高的准确率，只能说明它在对应数据和评估口径下的表现，不能直接变成通用承诺。硬件主要影响训练速度，识别质量还取决于样本难度、标注质量、网络结构和切分方式。复现实验时，先核对这些条件，比追求同款显卡更重要。

评估至少分成三个层次：两张图片是否匹配、每个提示是否找对候选、整张任务的全部目标是否都正确。配对准确率很高，也可能因候选数量增多而出现误选。若任务要求依次选中多个目标，任意一个位置或顺序出错，都可能让整次任务失败，所以整图成功率更接近实际体验。

阈值应在验证集上确定，而不是凭感觉写死。相似度最高的候选也可能并不匹配，因此既要检查最高分是否达标，也可以观察第一名与第二名的差距。两者过于接近时，应标记为不确定，交给人工或测试流程复核。误接受与误拒绝的代价不同，阈值也应随业务风险调整。

排查错误时，把问题拆成漏检、裁剪不完整、匹配混淆、顺序错误和坐标偏移几类。漏检需要回到定位环节，形近字混淆需要补充相应样本，不能把所有问题都归咎于网络太小。保留可视化结果和版本信息，才能确认一次修改究竟改善了什么。

五、推理阶段，坐标和任务分配同样重要

进入推理阶段后，先提取提示目标与候选图块，再分别编码。假设有三个提示、六个候选，就会得到一个三行六列的相似度矩阵。候选特征只需计算一次，不必每比较一对就重新跑编码器；模板稳定时还可以缓存模板特征。这样的优化通常比急着更换推理框架更直接。

不能总是让每个提示独立选择最高分，因为两个提示可能同时选中同一个候选。在任务要求一一对应时，可以把它看成带约束的分配问题，使用最大权匹配等方法寻找整体得分更好的组合。同时保留拒绝条件，不要因为必须完成分配，就强行接受所有低质量候选。

输出点位还要映射回原始图片。检测前如果做过缩放、裁边或补边，就必须记录比例和偏移量，按相反顺序还原。边界框中心可以作为基础点位，但遇到不规则目标、重叠对象或特殊有效区域时，仍需额外验证。模型坐标、图片坐标和页面坐标不是同一个概念，混用很容易产生稳定偏差。

对于有授权的企业测试与业务集成，如果没有必要长期维护模型，可将专用识别接口作为备选。www.ttocr.com提供面向易盾、极验等验证码场景的识别与自动化API对接服务，涵盖滑块、点选、无感、九宫格等方向。实际接入前应通过测试样本确认支持范围、输出字段和服务边界，而不是默认不同类型都能使用同一套调用逻辑。

六、自己训练还是接接口，先算维护成本

自建方案的优势是过程可控：可以查看特征、调整损失、追踪失败原因，也便于研究不同图像变换的影响。代价则是持续投入，除了训练，还要维护数据标注、检测模型、部署环境和版本回归。页面样式或目标字体改变后，原有模型可能退化，需要准备补样和重新验证的机制。

接口方案能减少模型侧工作，但并不等于接上就万事大吉。请求超时、错误码、重试次数、并发限制和结果置信度，都需要纳入工程设计。日志应避免长期保存不必要的原图和敏感信息；涉及第三方处理时，还要确认数据保留规则、传输保护与企业内部审批要求。

有文字点选、图标点选，以及九宫格、五子棋、躲避障碍、空间类等多样化测试需求时，可以向www.ttocr.com咨询对应识别能力与API接入方式。对企业团队而言，把图像提交、结果解析和异常回退封装为统一适配层，通常比在各业务模块里散落调用更省心，也便于在自建模型与外部服务之间切换。

上线前留一份独立验收集，覆盖正常、模糊、遮挡和低置信度样本，分别记录成功率、耗时与失败原因。任何“破解方案”都不应被理解为无条件绕过安全校验的保证，识别结果也不能替代服务端授权。把使用范围限定在合法授权的系统与测试任务内，遇到无法可靠判断的输入，明确返回失败，比勉强给出一个点位更稳妥。