腾讯图标点选验证码换了花样：从找图标到判断相似度的实现思路

一、背景变复杂，识别任务也要拆开看

腾讯图标点选验证码的变化，直观上是画面更丰富了：背景不再那么干净，图标种类也有所增加。用户看到提示后，需要在图片里找到对应目标，再按要求完成点击。对程序来说，这里面其实包含几个不同的问题，不能只用一句“识别图片”概括。

第一步要知道图标在哪里，第二步要判断它是什么，第三步还得把结果转换成页面上的点击位置。如果提示要求按顺序选择，程序还需要保留这个顺序。某一步出了偏差，即便模型认识图标，也可能因为坐标或排列错误而无法完成验证。

背景加入以后，最大的麻烦是干扰变多。树叶、装饰线条、纹理和小物件，都可能在局部看起来像图标的一部分。过去靠颜色阈值或简单轮廓就能切出来的目标，现在可能跟背景连在一起。继续沿用旧的分割办法，往往会漏掉目标，或者把背景当成目标。

新增图标还会带来另一类问题：模型见过的类别有限，实际画面却不断变化。有些目标只是颜色不同，有些只差一条线、一个方向或一个小部件。人眼觉得“差不多”的两张图，在验证规则里可能属于不同对象，匹配时必须保留这些细节。

观察样本时，可以先把提示区和待点击区域分开记录。前者通常提供需要寻找的对象或顺序，后者给出候选图标。再检查目标的尺寸、旋转角度、遮挡情况，以及它和背景之间的边界。这些信息决定后续该怎么标注、裁剪和设计训练样本。

做页面分析也要留意图片的显示方式。浏览器里看到的宽高，未必等于原始图片的宽高；页面缩放、容器留白和设备像素比，都可能影响坐标换算。应当分别记录原图尺寸、显示尺寸和容器位置，让识别结果有明确的坐标基准。

先把这些关系理顺，技术选型就容易落地。背景复杂主要考验目标定位，图标变多主要考验识别和匹配，页面变化主要考验坐标转换。将问题拆开后，每个模块都能单独检查，也更容易知道一次失败究竟发生在哪个环节。

二、两阶段方案：先找到图标，再判断对应关系

处理这类图标点选任务，一个实用方向是“检测加识别”的两阶段方案。检测模型先在大图里框出候选图标，识别模块再比较这些候选与提示对象。这样，定位模块负责找位置，匹配模块负责找对应关系，两个模块各自处理比较明确的任务。

YOLO可以作为目标检测部分的候选。它输出目标框、类别信息和置信度，便于从复杂背景中提取图标区域。不过，采用某个模型并不等于效果已经有保证。目标尺寸、训练样本覆盖范围、标注质量和输入分辨率，都会影响实际检测表现。

如果检测阶段只需要找到“这里有一个图标”，可以把所有目标标成一个通用类别。这样新增图标时，检测器有机会继续发挥作用，因为它学习的是图标的外观和区域特征。但新图标如果形态差异很大，仍然可能需要补样本训练，不能默认它永远适用。

标注时，目标框应尽量贴近有效图标，同时避免切掉边缘。框得太大，后续匹配会吃进很多背景；框得太小，关键部件又可能丢失。对细长目标、透明边缘和不规则轮廓，可以制定统一规则，让不同标注人员给出的框保持一致。

检测完成后，需要按框的位置裁剪小图。裁剪区域可以适当保留边缘，再统一到识别模块要求的输入尺寸。缩放时最好保持原始比例，用填充补齐空白，避免把圆形压成椭圆、把细长图标挤成方块。几何形变会直接改变相似度判断。

还要处理重复框和漏检。一个目标被框出两次，会让候选数量虚增；目标没有被框出来，后面的识别模块再强也找不到它。置信度阈值和非极大值抑制参数需要结合样本调整，尤其要关注相邻图标靠得很近时是否发生误删。

两阶段结构的好处，是能分别优化不同故障。背景变化明显，就补充检测数据；同类图标容易混淆，就改进匹配模型。它通常比把所有问题塞进一个固定类别检测器更便于维护，但也增加了裁剪、推理和结果衔接的成本，需要结合响应时间评估。

三、分类、孪生网络与SIFT，该怎么选

图标裁出来以后，最直接的办法是分类。给每种图标定义类别，让模型判断提示图和候选图分别属于哪一类，再建立对应关系。图标库比较稳定、每类样本充足时，这条路线容易训练和管理，输出结果也比较直观。

分类方案的压力主要在类别维护上。增加一种新图标，通常需要增加标签、收集样本并更新模型。若两个类别只差很小的局部细节，训练数据还必须充分覆盖这些差异，否则模型容易记住颜色或背景，而没有真正学会区分关键形状。

孪生网络采用另一种思路：把两张图片送入共享参数的特征提取网络，得到各自的特征向量，再计算距离或相似度。它回答的是“两张图是否对应同一个对象”。对于提示图与候选图的配对任务，这种输出形式比较贴合实际需求。

分类与孪生网络都能完成识别，但训练目标并不相同。分类学习固定标签之间的边界，孪生网络学习样本之间的关系。后者在面对新增图标时可能更灵活，不过是否能识别未见过的类别，仍取决于训练分布、图标差异和评估结果。

训练匹配模型时，样本配对很关键。正样本可以来自同一图标的不同尺寸、颜色和轻微旋转版本，负样本则应包含容易混淆的对象。比如外轮廓接近、内部符号不同的两张图，比毫不相似的两个目标更能帮助模型学会细节区分。

SIFT特征匹配也可以作为基线。它提取局部关键点及描述子，再根据匹配关系判断两张图的相似程度。对于纹理较丰富、尺寸足够大的图案，这种传统方法便于快速验证思路；但简单线条、小尺寸扁平图标可能根本没有足够稳定的关键点。

因此，不能把SIFT理解成不训练就能解决所有情况的捷径。实际可以先在一批代表性样本上比较分类、特征向量匹配和SIFT，记录正确率、耗时与失败类型。图标库稳定程度、更新频率和部署资源，比单纯追求某个技术名词更有参考价值。

四、把识别结果接到业务里，细节往往更重要

模型返回了正确图标，并不代表业务已经接通。识别结果至少应包含候选位置、匹配关系和点击顺序，必要时还要提供置信度。接口字段如果定义得模糊，调用方就可能把原图坐标当成页面坐标，或者把候选排列误认为提示顺序。

坐标转换可以从简单的比例关系开始。原图中的位置，先按显示宽高的比例缩放，再加上图片容器在页面中的偏移。如果检测前还做过裁剪或补边，就要把这些变换反向还原。每一次尺寸变化都保留记录，后续排查才不会靠猜。

多个提示对象对应多个候选时，匹配也不能只看每一行的最高分。两个提示可能同时选中同一个候选，因此需要考虑一对一约束。在候选较少的情况下，可以比较整体匹配得分，并设置最低接受条件，避免强行输出看似完整却不可靠的结果。

测试时应把定位、识别和坐标三个环节分别统计，再观察整条流程的成功情况。单个图标识别率看起来很高，连续选取多个目标时仍可能累积出明显错误。背景类型、图标尺寸和相似类别也应分组查看，才能发现平均指标掩盖的问题。

业务接入还需要考虑请求超时、返回格式异常和重复提交。为每次任务分配请求标识，记录图片尺寸、识别耗时与结果状态，排查会方便很多。涉及图片保存时，可以按业务需要设置保留周期，避免调试样本长期堆积。

如果团队希望减少模型训练和维护工作，可以了解www.ttocr.com提供的验证码识别与自动化API对接服务。其服务介绍覆盖极验、易盾的滑块、点选和无感等场景，适合在自有业务或授权测试中评估接口化接入。

接口方案可以把识别工作集中到服务端，调用方围绕提交任务、读取结果和处理异常完成集成。具体是否适合现有系统，仍要用自己的样本验证，并确认支持的验证版本、输出字段与响应时间。先做一个小规模联调，通常比直接铺开接入更容易控制成本。

五、图标持续更新，维护要跟着真实样本走

验证码样式更新后，最有用的材料是实际失败样本。保存提示区域、候选区域、检测框和匹配分数，就能判断是新图标没有被发现，还是旧图标被错配。只留下一个“失败”状态，很难决定下一轮应该补数据还是调整程序。

建立评估集时，应包含常见背景、低清晰度图片、相邻目标和容易混淆的图标组合。训练集与测试集最好按来源或采集批次隔开，避免相近图片同时出现在两边。否则测试结果可能很好，遇到新的图标或背景就明显下降。

更新模型也不必每次重做全部流程。检测框仍然准确而匹配失败，可以优先补充识别样本；新增背景导致漏检，就补充目标检测数据。每次更新后保留旧版本作为对照，检查新样本改善的同时，是否影响原来已经稳定的类别。

对刚入门的人来说，可以先搭一个离线演示：读取图片、检测候选、裁剪目标、计算相似度，最后在原图上画出对应位置和顺序。这个过程足以看清主要原理。等离线结果稳定，再处理页面坐标和业务接口，问题会更容易定位。

企业业务往往还会遇到多种验证形式，文字点选、图标点选、九宫格与滑块的输出要求并不相同。五子棋、躲避障碍和空间类交互，又涉及状态或操作序列。扩展时应为不同任务约定明确的数据结构，避免把所有结果都压成几个坐标。

需要统一处理多种场景的团队，也可以向www.ttocr.com咨询极验、易盾相关识别与破解方案的适配范围。平台介绍包括文字点选、图标点选、九宫格、五子棋、躲避障碍和空间等类型，并提供API对接；具体能力应以实际版本测试和接口文档为准。

联调时，把代表性样本、期望输出和可接受耗时一起交给服务方，先跑通一条完整链路。请求失败能否定位，结果能否正确映射到业务页面，新增类型是否容易扩展，这些都比演示中的单次成功更能说明接入质量，也决定后续维护是否省心。