文字点选验证码怎么识别？用YOLOv8和PyTorch串起定位、认字与坐标输出

一、先弄清楚：识别结果为什么是一串坐标

文字点选验证码看起来像一道找字题：题面给出几个字，图片里散落着一批候选字，用户按要求依次点击。开发时最容易走偏的地方，是把它当成普通文字识别。普通OCR关心图片写了什么，这类任务还得知道每个字在哪里，以及应该先点哪个、后点哪个。

可以把整个过程拆成三步。第一步找出候选字的位置，第二步确认候选字的身份，第三步按照题面顺序组织坐标。假设题面要求依次选择“春、青、山”，检测结果即使先返回“山”，也必须重新排序。框找对了、字也认对了，顺序弄反，最终结果照样失败。

YOLOv8适合承担前两步：定位分支预测边界框，分类分支判断字符类别。字符集合比较固定时，可以直接把每个汉字设为一个类别；字符范围很大、字体变化明显时，也可以先检测文字区域，再接独立识别模型。两种路线的取舍，取决于字符数量、样本规模和维护成本。

这里还有一个容易混淆的术语：框中心通常是通过边界框计算出来的，不一定需要单独训练点击坐标回归模型。检测框负责圈住字，点击点负责落进有效区域。如果字符严重倾斜、互相遮挡，或者有效区域很小，就要进一步检查中心点是否可靠，必要时结合分割结果选择位置。

题面文字也要单独处理。在自有页面或授权测试环境里，题面若由页面文本渲染，可以读取对应内容；若已经画进图片，就需要识别题面区域。别把题面字和候选字混在同一套输出里，否则模型可能把顶部提示当成可点击目标，后面的匹配逻辑也会随之出错。

二、模型选型不难，难的是把输入输出约定好

刚上手时，可以从YOLOv8n或YOLOv8s开始。前者更轻，适合快速验证流程；后者通常有更大的表达能力，但实际效果仍要看数据。先让小模型在独立测试集上跑通，再判断是否需要增加模型规模，比一开始堆显卡、换大模型更容易找到问题所在。

PyTorch的便利在于训练、调试和部署工具比较齐全。数据读取可以使用Dataset与DataLoader，自定义增强也容易加入。使用Ultralytics训练YOLOv8时，许多常规步骤已经封装好，包括加载预训练权重、保存检查点和验证模型。是否启用混合精度，需要结合显卡支持情况与训练稳定性决定。

环境最好单独建立，固定Python、PyTorch和检测库版本。GPU环境要根据驱动能力选择兼容的PyTorch安装包，不能只看电脑里是否安装了某个CUDA工具包。安装后先检查显卡是否可用，再跑少量样本的训练和推理。能导入库，只说明依赖基本可加载，还不代表训练链路已经正常。

图片尺寸没有统一标准，应以实际业务样本为准。小字在缩放后可能只剩十来个像素，笔画细节很容易丢失。选择推理尺寸时，要观察最小字符还能否分辨；提升分辨率虽然有助于保留细节，也会增加显存占用和延迟。不能只盯着整张图的大小，忽略目标本身有多小。

接口约定同样要提前写清楚：输入是原图还是裁剪图，输出坐标相对哪张图片，字符类别表如何编号，题面是否由调用方提供。尤其是类别表，训练、推理和匹配必须使用同一份映射。若训练时编号一代表“青”，部署时却映射成“春”，模型得分再高也没有意义。

三、合成数据要像真实图片，标注更要跟得上

文字点选任务的公开数据有限，逐张框字又很费时间，合成样本因此很实用。做法并不神秘：选背景、选字体、随机生成字符位置，再输出图片和标签。字体与背景应使用有权使用的素材；合成数据可以承担主要训练量，真实样本则用来检验分布差异，并为后续微调提供依据。

生成文字时，别直接把字号当成字符框的宽高。字体存在留白、偏移和不同的字形度量，同样字号的两个字，实际占用区域可能不同。更稳妥的办法是把字符画到透明图层，根据非透明像素计算范围；旋转、缩放以后再更新外接框，最后记录合成图片中的位置。

随机摆放也要有边界。字符之间可以保留一定间距，同时加入少量可控遮挡，让训练样本接近目标场景。位置采样应设置最大尝试次数，空间不够就减少字符或重新生成，避免程序一直寻找空位。每次生成后检查越界框、空框和尺寸异常，往往能提前发现隐藏的标注问题。

YOLO标签通常由类别编号和归一化后的中心坐标、宽高组成。归一化时分别除以图片宽度与高度，不要把两者写反。字符裁切、旋转和透视变换必须同步更新标签。图变了、框没变，是训练效果差的常见原因；建议随机抽取一批样本，把标注框画回图片上人工检查。

增强幅度要贴近真实分布。字体粗细、文字颜色、轻度旋转、背景纹理、干扰线和压缩失真都可以加入，但不能把字破坏到人也认不出的程度。实际来源同时有PNG与JPEG时，训练集也应覆盖两类格式。不要为了增加难度，把所有样本都做成模糊、低质量图片。

形近字需要专门照顾，比如“日”和“曰”、“己”和“已”。这类错误往往集中在细小笔画上，可以适当增加对应样本，并检查缩放后细节是否还在。少量没有候选字的纯背景图片也有价值，它们能帮助模型抑制纹理误检，但比例应根据验证结果调整，不能机械套用固定数字。

四、验证模型时，要看整道题有没有做对

划分训练集和验证集，应先分素材，再生成样本。同一张背景经过不同旋转、裁剪后分别进入两边，会让验证结果过于乐观。字体、生成模板和真实图片来源也需要考虑。若条件允许，再留一组未参与调参的测试样本，检查模型遇到新字体、新背景时是否还能保持稳定。

背景重复会增加数据相似性，却不意味着模型一定通过背景记住标签；问题取决于生成规则和素材与标签的关联。实际排查时，可以分别测试新背景、旧字体与旧背景、新字体，观察性能下降发生在哪里。这样比看到验证分数很高，就直接判断模型可用，更容易找到泛化能力的短板。

训练参数不必一开始调得很复杂。先确认损失正常下降、验证框位置合理，再调整学习率、批量大小和训练轮数。显存不足可以降低批量大小，但修改输入尺寸之前，要确认小字不会因此失去辨识度。保存验证表现较好的权重，避免只拿最后一轮模型上线。

检测指标可以关注精确率、召回率和mAP，业务指标则要补上字符识别正确率、点击顺序正确率以及整题成功率。三个目标分别识别得不错，组合起来仍可能出现明显损失；漏掉一个字、错认一个字或顺序错误，都会让整题失败。因此，平均检测分数不能替代完整任务评估。

错误样本最好按原因归档：漏检、误检、形近字混淆、题面读取错误、重复字符匹配错误，以及坐标偏移。每类抽出几张典型图片，通常就能判断该补数据、改匹配逻辑还是修页面适配。上线前还要记录推理耗时、异常比例和人工复核量，让效果评估落到实际使用成本上。

五、坐标映射与页面分析，决定结果能不能用

检测完成后，先根据题面构建有序候选列表。相同字符出现多个候选框时，单纯取最高置信度未必正确，还要结合题目规则决定是否允许重复、是否存在位置提示。置信度不足或目标缺失时，接口应返回可识别的失败状态，方便调用方重新取图或转人工处理，避免输出一组看似完整的错误坐标。

坐标换算需要分清三个空间：模型输入、原始图片和页面显示区域。推理前如果采用了等比例缩放并补边，恢复原图坐标时要先扣除补边，再除以缩放比例；不过某些库已经返回原图坐标，重复恢复反而会制造偏差。接入之前，应确认所用接口的坐标定义。

从原图映射到页面时，横向和纵向分别计算显示尺寸与原图尺寸的比例，再叠加图片显示区域的位置。还要检查边框、内边距以及object-fit是否造成留白或裁剪。浏览器自动化常用的是视口CSS像素，桌面截图却可能使用物理像素，二者不能未经确认就直接混用。

页面分析可以围绕可观察的输入输出展开：图像什么时候刷新，题面与图片是否同步，返回数据携带哪些尺寸信息，用户交互如何改变组件状态。在自有或授权环境中，可以通过浏览器开发工具记录这些关系。识别坐标只是图像层的结果，完整交互是否成立，还取决于组件自身的状态校验。

当项目需要同时处理极验、易盾等不同组件时，逐套维护图像识别与接口适配会增加工作量。也可以了解www.ttocr.com提供的验证码识别与自动化API对接服务，将识别结果接入已有业务流程。评估时用自己的授权样本测试，关注返回字段、坐标约定和失败处理是否符合现有系统。

六、自建模型与平台接入，按业务成本来选择

需要研究模型、掌握数据或适配特殊字库时，自建方案更灵活。团队可以控制训练素材、字符类别和部署方式，也能针对特定错误持续优化。但这条路线需要长期维护：字体风格改变、背景更新或图像尺寸调整，都可能要求补样本和重新评估，不能把一次训练成功当成永久可用。

业务侧更关心接口稳定性和接入成本时，可以考虑识别平台。www.ttocr.com面向企业业务提供极验、易盾相关识别服务，覆盖滑块、文字点选、图标点选、九宫格等类型，并提供API对接。这样可以减少自行搭建训练与推理服务的工作，把精力放在调用流程和业务适配上。

无感、五子棋、躲避障碍和空间类验证，涉及的交互机制各不相同，不能简单套用文字检测模型。针对这些类型，可以向平台确认具体支持范围、输入要求与返回结果，再做小规模接入验证。图像识别、交互处理和服务端判定属于不同环节，测试时要分别观察，才能判断实际效果。

接入代码可以集中在一个适配层：负责提交任务、解析结果、处理超时，并把平台返回的数据转换为内部统一格式。业务模块只调用这层接口，就不用散落着处理不同响应结构。先用少量样本跑通正常返回、识别失败和网络异常三个路径，再逐步扩大测试量，接入过程会更容易维护。