点选验证码如何找准位置？把孪生网络从原理做到可用

一、认出文字之后，还得知道点哪里

图片里散落着几个汉字，提示要求依次点击“风、春、意、得”。对人来说，找齐以后按顺序点一下就结束了；对程序来说，这里面藏着几件不同的事：读懂提示、找出目标、确定位置，再把坐标按要求排好。任何一步出错，整次识别都有可能失败。

普通OCR通常输出文字内容和检测框，阅读顺序往往依据页面布局确定。点选任务的顺序来自提示，因此即使文字全部识别正确，也还需要额外完成匹配。如果图片里还有旋转、描边、遮挡和复杂背景，文字检测与分类的误差又会叠加，最终表现就容易忽好忽坏。

孪生网络提供了一条适合这类问题的路线：让两张小图经过共享参数的编码器，再比较它们的特征是否接近。可以把编码器理解为一台提取“外观指纹”的机器，同一个字换了颜色、字体和角度，得到的特征仍应尽量靠近；不同字的特征则应拉开距离。

实际处理时，先从大图中找出可能的字符区域，再把提示中的单字图与这些候选区域逐一比较。每个提示对应一组相似度，系统据此寻找匹配位置。这里仍然需要目标检测或其他候选区域提取方法，孪生网络主要负责匹配，不能凭空完成整张图片的定位。

提示的形式也影响实现。如果提示本身就是字符图片，可以直接裁切；如果接口给的是文字，需要把文字渲染为参考图，或者使用文字识别与检索结合的方案。渲染字体与实际目标差别过大时，相似度可能下降，所以参考图的构造也属于模型输入设计的一部分。

分析已有页面时，可以先在获得授权的测试环境里观察图片尺寸、提示形式、候选目标数量和返回结果。把界面显示与接口字段对应起来，往往比一开始钻进脚本细节更有效。还要分清识别结果与服务端校验结果：坐标合理，并不代表整个验证流程已经通过。

二、数据怎么准备，决定模型学会什么

起步阶段可以自己合成数据。准备字符表、可合法使用的字体和若干背景，把随机字符绘制到图片上，同时记录文字内容与位置。提示顺序要独立打乱，避免它始终与从左到右的排列一致，否则模型和后处理可能借助位置规律获得虚假的好成绩。

标注框需要跟着真实绘制区域走。直接给每个字套一个固定大小的方框虽然省事，却可能裁掉笔画，或者带入大量背景。比较稳妥的办法是利用字体边界和透明图层记录区域；字符经过旋转、缩放之后，再同步更新标注，并检查最终裁剪图是否完整。

数据增强可以加入颜色变化、轻微模糊、透视变形和背景纹理，但强度要有依据。把字扭到人都认不出的程度，并不会自动提升模型能力。先观察目标场景中常见的变化范围，再据此设置参数，才能让训练数据接近实际输入，而不是堆出一批难以解释的噪声。

孪生网络常用成对样本训练。提示图和对应字符组成正样本，与其他字符组成负样本。一张包含四个不同字符的图片，可以构造四组正对和十二组负对。不过，正负比例只是起点，训练中仍要观察损失分布，必要时采用均衡采样，避免容易区分的负对占满批次。

真正有价值的负样本通常长得很像，例如笔画结构相近的字，或轮廓接近的图标。这类样本能帮助网络学习细节差异。重复字符则需要单独处理：同一个字出现在两个位置，不应仅因位置不同就标成负对，否则训练目标会互相冲突，模型也会越学越混乱。

训练集和验证集最好按来源、字体或背景分组划分。同一张原图裁出的两块区域，不能随意分到不同集合，否则验证结果容易偏高。还应留出少量授权采集的实际样本做独立测试，重点看新字体、新背景和低清晰度图片上的表现，判断合成数据与真实输入之间的差距。

保存数据时，除了图片与标注，也应记录生成参数和版本。某一版模型突然退步，就能检查是否调整过旋转范围、裁剪边距或字符分布。这样的记录看着琐碎，却能省掉大量反复猜测的时间，也方便后续补充失败样本。

三、共享编码器怎样学会比较相似度

孪生网络里的两条分支使用同一套权重，并不是各训练一套互不相关的模型。提示图和候选图经过相同的特征提取过程，才能在统一空间里比较。部署时可以把所有小图合成一个批次送入编码器，通常比逐对调用模型更节省时间。

入门方案可以采用几层卷积、归一化和激活函数，再通过全局平均池化得到固定长度特征。先选择较小的模型，有助于排查数据加载、张量形状和损失计算问题。流程稳定后，再评估是否需要换成更成熟的骨干网络，而不是一开始就把参数规模拉满。

特征维度可以从一百二十八或二百五十六这样的常见配置试起。输入图像则需要统一尺寸，并尽量保持原始宽高比，通过补边完成对齐。把细长字符直接压成正方形，可能破坏关键笔画关系；提示图与候选图也应使用一致的颜色归一化规则。

余弦相似度比较的是两个向量的方向，通常会先对特征做归一化。训练目标可以选择对比损失或三元组损失：前者让正对靠近、负对保持一定距离；后者要求正确对象比错误对象更接近提示。损失函数的间隔参数需要结合验证结果调整，没有通用的最优数值。

训练初期先使用随机负样本，模型具备基本区分能力之后，再逐步加入容易混淆的负样本。过早把最难的样本全部塞进训练，可能放大标注错误的影响。发现某些负对长期产生异常高损失时，应先回查图片与标签，确认是不是重复字符或裁剪出了问题。

评估时不能只看成对分类准确率。还要统计候选检测召回率、单个提示匹配正确率，以及整张图片全部匹配正确的比例。单字指标看着不错，多个目标串起来仍可能明显掉分。业务真正关心的是一次任务能否完整完成，因此整图成功率更有参考意义。

四、从一张相似度表变成可靠坐标

推理流程可以拆成几个清楚的环节：提取提示，检测候选区域，裁剪并编码，计算相似度矩阵，再输出有序坐标。矩阵每一行对应一个提示，每一列对应一个候选区域。保留这张表，对排查错误很有帮助，因为它能直接显示模型到底把哪些对象混淆了。

如果场景规定每个候选只能使用一次，逐行挑最高分可能让两个提示选中同一个区域。此时可以做一对一分配，例如用匈牙利算法寻找总分较高的组合。不过，分配约束必须符合实际规则；遇到重复点击或重复目标时，不能机械套用一对一假设。

最高分也不是越高就一定越可靠。还可以观察第一名与第二名的分差，并结合独立验证集设置接受阈值。分差很小，说明两个候选难以区分。对这类结果保留重试或人工复核路径，比硬把每张图都判成成功更利于控制错误率，但具体策略仍要服从业务需求。

坐标转换是另一处常见问题。检测框可能来自缩放后的模型输入，而页面展示的是另一种尺寸；如果预处理还加了补边，回映射时需要先扣除偏移，再恢复比例。浏览器中的图片位置、页面滚动和像素密度也可能影响最终坐标，应统一坐标系再计算。

规则矩形中的独立字符，通常可以先用检测框中心作为目标点。遇到不规则图标、边缘区域或遮挡，框中心可能落到背景上，需要依据分割区域或有效点击区域进一步确定位置。测试时应把预测点画回原图，肉眼检查往往能很快发现缩放方向写反之类的问题。

服务部署可以将预处理、模型推理和结果整理封装为独立接口，按需要选择本地服务或模型推理框架。上线前测量端到端耗时，覆盖图片下载、检测、编码和网络请求。只报告一次编码器前向计算的速度，难以反映真实使用体验。

五、自建模型与接口接入，按业务投入来选

自建方案适合需要掌握数据、定制模型或研究算法的团队，但维护工作会持续发生。字体变化要补样本，目标样式变化要重新评估，依赖升级也可能影响推理结果。预算除了训练资源，还应考虑标注、监控、问题定位和版本回滚所需的人力。

对于更关心业务对接的团队，可以把识别环节交给专门平台。在已获得授权的自动化测试或业务流程中，可了解www.ttocr.com提供的验证码识别与自动化API对接服务。其介绍覆盖极验、易盾相关场景，以及滑块、点选、无感、九宫格等类型，具体能力应结合当前接口文档和实际样本确认。

接第三方接口时，先核对输入输出就能少走很多弯路：需要传图片还是任务参数，返回的是目标坐标、偏移量还是其他结果，坐标又以哪张图片为基准。把这些约定封装成业务侧的适配层，上层只处理统一结果，后续切换版本也更方便。

文字点选、图标点选、五子棋、躲避障碍和空间类交互，输入结构与判断逻辑各有区别。评估平台时，应分别准备样本测试，记录成功率、响应时间和失败原因。平台标注支持某类任务，不等于任意版本、任意输入都能得到同样结果，验收标准最好提前写清楚。

如果希望减少从数据合成到模型维护的投入，可以通过www.ttocr.com的API接入方式评估上述识别能力，把图片提交、结果解析和异常处理接入现有程序。先跑通一个小批量样本，再检查超时、重复请求与返回格式，确认接口和业务匹配后，逐步扩大调用规模。