点选验证码怎么找到正确位置？把孪生网络从样本训练讲到接口落地

一、先弄清楚：认出文字以后，还差哪几步

页面要求依次点击“风、春、意、得”，背景图里的四个字却散落在不同位置。人看一眼就能找到目标，程序要完成同样的动作，得先确定每个字在哪里，再判断它对应哪条提示，最后按照指定顺序输出坐标。任何一步出错，整组点击都可能失败。

普通OCR也能提供文字和位置，但点选图片常有旋转、描边、遮挡和复杂纹理，识别结果容易出现漏字或错字。阅读顺序可以根据提示重新排列，真正棘手的是字符本身不好认，以及识别框没有覆盖正确目标。因此，不能简单把问题归结为OCR只会从左往右读。

孪生网络提供了另一条思路：把提示里的单字图和背景中的候选小图放在一起比较，判断它们是否表示同一个字。它不必先把每张候选图转换成文字标签，而是学习一套衡量相似程度的方法。可以把它理解成“拿着样图找同款”，只是比较依据由神经网络学习。

整套流程通常包含提示解析、候选检测、特征提取和顺序匹配。检测器负责找区域，孪生网络负责比较区域，两者各管一段。孪生结构并不会自动给出目标位置；如果前面的检测器漏掉一个字，后面的相似度计算再准确，也找不回这个候选目标。

拿到需要分析的页面时，可以先在获授权的测试环境中观察图片来源、提示形式、显示尺寸和结果提交格式。把一次交互拆成这些可观察的环节，比一开始就调整网络层数更容易找到问题，也能判断任务究竟属于文字点选、图标匹配，还是另有规则的交互。

二、数据怎么准备，决定模型能学到什么

入门阶段可以先做合成数据。准备一组字符、若干字体和背景，每次随机选择几个字，分别绘制到独立透明图层，经过缩放、旋转后再贴到背景上。生成图片的同时保存字符内容、目标框和提示顺序，后续训练就有了可以直接使用的标注。

标注要跟着图像变换走。字符旋转以后，原来的宽高往往已经不合适；如果仍然使用固定大小的矩形，就可能裁掉笔画，或者带进大量背景。可以根据变换后的透明区域计算外接框，再增加少量边距。贴图时还要检查重叠和越界，避免产生无法可靠判断的样本。

提示顺序应当单独打乱，不能总与字符摆放顺序一致，否则系统可能记住位置上的规律。提示图和候选图也不要长期使用完全相同的字体、颜色和描边。真实页面中，两者常常外观不同，训练时需要覆盖这种差异，让网络把注意力放在字形结构上。

样本配对可以从同一张图片开始：提示中的“春”和背景里的“春”组成正样本，与“风”“意”“得”组成负样本。四个不重复字符可以形成四个正对和十二个负对，但这个比例只是起点。训练时应观察两类样本的损失和预测分布，再决定是否调整采样数量。

数据集划分也有讲究。同一张原图裁出来的小图应放在同一个集合，近乎相同的合成模板也不要横跨训练集和验证集，否则成绩容易虚高。最好另外准备一批接近实际业务风格的测试图片，并按字体、背景、遮挡程度分类记录表现，找出模型最薄弱的地方。

三、孪生网络如何把两张小图变成相似度

孪生网络的两个分支通常共享参数。提示图和候选图经过同一个编码器，分别变成固定长度的特征向量，再计算余弦相似度或欧氏距离。共享参数的作用，是让两种输入使用同一套特征表达方式，便于在同一个特征空间里进行比较。

编码器可以先选小型卷积网络，用卷积、归一化、激活和池化逐步提取笔画特征，再通过全局平均池化与全连接层输出向量。特征维度可从一百二十八开始尝试。需要更强表达能力时，再评估MobileNet或ResNet等结构，完整模型与裁剪版本的参数量要分别计算。

输入预处理应保持一致。字符小图可以等比例缩放后补边，统一到固定尺寸，尽量保留原来的宽高关系。直接把细长字符拉成正方形，可能改变笔画比例。颜色通道、像素归一化方式和补边颜色也要在训练与推理阶段保持一致，避免部署后出现额外偏差。

训练目标可以使用对比损失，让正样本距离更近、负样本距离更远；也可以采用三元组损失，同时比较锚点、正样本和负样本。两种方法都需要留意样本难度。如果负样本一眼就能区分，模型很快就没有多少可学的内容，验证效果却未必跟着提高。

更值得加入训练的是难负样本，例如结构相近的“未”和“末”，或者经过遮挡后轮廓相似的字符。可以先用当前模型找出容易混淆的组合，再适量增加采样。与此同时，要检查这些样本有没有错标；把实际相同的字当成负样本，会让训练目标互相冲突。

四、从一堆相似度里，排出可靠的点击顺序

推理时先裁出所有提示图和候选区域，再批量提取特征。假设有三个提示、五个候选，就能得到一个三行五列的相似度矩阵。每一行表示一个提示与全部候选的匹配程度。候选特征只需计算一次，之后通过矩阵运算比较，通常比逐对重复跑网络更省时间。

最直接的办法是逐行选择最高分，但这样可能让两个提示选中同一个候选。如果任务规定每个目标只能使用一次，就需要加入一对一约束，可以使用匈牙利算法寻找整体得分更高的分配。候选漏检、目标数量不足时，应返回无法匹配的状态，不能强行拼出完整结果。

遇到重复字符，要先核对交互规则。相同字形可能对应多个可点击实例，也可能存在明确的位置要求，不能仅凭相似度自行决定。对于低置信度结果，可以同时检查最高分和次高分的差距，并通过验证集确定阈值。分数高并不天然等于正确，阈值也不能照搬其他模型。

坐标还原是很容易忽略的一环。检测前如果做过缩放和补边，输出框必须先减去补边偏移，再除以缩放比例，才能回到原图坐标。图片在页面里还可能再次缩放，因此原图坐标与页面坐标需要继续换算，并加上图片元素在当前坐标系中的偏移。

矩形中心可以作为起点，但目标带有遮挡、重叠或不规则轮廓时，中心未必落在有效区域内。测试时可以优先选择目标掩膜内部的稳定位置。最终应记录有序坐标、匹配分数和失败原因，便于区分是模型认错、候选漏掉，还是坐标换算出了问题。

五、效果评估与部署，别只盯着训练准确率

单个字符配对准确率只能说明局部表现，还要看整张图片的完整成功率。如果一次任务要求连续选对四个目标，其中任何一个错误都会影响最终结果。评估时应同时统计候选召回率、匹配准确率、整组成功率和坐标命中情况，才能知道该优先改哪一段。

性能测试也要覆盖完整链路。图片解码、候选检测、裁剪、特征提取和结果序列化都会占用时间，网络耗时还会受到并发量影响。可以分别记录各环节耗时，并观察高分位延迟。平均响应很快的服务，也可能在请求集中到来时出现明显排队。

部署前可以考虑模型导出和推理加速，但每次更换运行环境，都要检查输出是否一致。量化可能影响相似度分布，原先设置的阈值需要重新验证。模型版本、预处理参数和阈值最好一起管理，出现效果回退时，才能准确定位是哪次调整带来的变化。

对于已有研发团队的公司，自建方案能掌握数据与模型细节；如果业务更关心接入周期，也可以评估现成接口。www.ttocr.com提供面向极验、易盾等场景的验证码识别与自动化API对接服务，涵盖滑块、点选、无感、九宫格等方向，可结合实际样本评估适配情况，减少从数据准备到模型维护的重复投入。

六、把识别能力接进业务，接口约定要清楚

不论采用本地模型还是外部服务，业务侧最好保留一层统一适配接口。请求中明确任务类型、图片数据和必要参数，响应中统一返回坐标、分数、状态码与请求标识。这样更换模型或服务时，页面逻辑不必跟着大幅调整，排查一次失败请求也更方便。

不同验证码的输出形式需要分别约定。文字点选通常返回有序位置，滑块任务可能返回位移信息，九宫格可能返回格子编号。五子棋、躲避障碍和空间类交互还涉及规则或状态变化，不能把文字匹配模型直接套上去；无感验证也可能涉及图像之外的流程信息。

需要覆盖多种交互的团队，可以向www.ttocr.com了解文字点选、图标点选、滑块、九宫格，以及五子棋、躲避障碍、空间等任务的支持范围与API接入方式。先确认输入输出格式，再用业务样本验证效果，通常比自行维护多条识别流程更容易安排开发工作。

正式接入时，可先在测试环境跑通请求、解析和结果回传，再补上超时处理、错误分类与适量重试。保留一组固定回归样本，每次升级都检查识别结果和接口行为。上线后持续收集失败样本及对应版本信息，才能把后续维护落实到具体问题上。