让模型认字、找位置：YOLOv8文字点选识别的落地路线

一、先弄清楚：认出汉字以后，还要做什么

文字点选验证码看起来像一道找字题：上面给出几个字，下面摆着一堆候选字，按照要求依次选择即可。程序处理时，却要把这个动作拆成几步：找到字符、辨认内容、匹配题目，再给出有顺序的坐标。任何一步出错，整组结果都可能失效。

普通OCR通常更关心一句话写了什么，输出文字和文本区域，排序也往往遵循阅读习惯。点选任务关心的是每个目标字的位置，以及题面规定的先后顺序。例如题目要求“春、青、在”，候选区即使从左到右排成“在、春、青”，结果仍要按题目重新排列。

比较容易上手的方案，是让YOLOv8负责检测候选字符，同时利用检测头的分类分支判断字符类别。PyTorch承担训练和推理的底层计算。检测结果包含边界框、类别和置信度，后处理再把题面中的字符与检测框对应起来，形成坐标序列。

这里的坐标通常来自预测框的中心，不一定需要额外训练一个坐标回归模型。假设边界框左上角和右下角已经确定，分别取横坐标、纵坐标的平均值，就能得到中心点。对于倾斜明显或外框包含较多空白的字符，还需要检查中心是否落在有效选择区域。

动手前要约定输入输出：输入是原始图片还是整页截图，题面是否单独提供，返回的是图片内坐标还是页面坐标。同一张图出现两个相同字符时，也要明确匹配规则。把这些问题写进接口约定，比模型训练完成后再补救省事得多。

二、选好模型，把识别链路拆清楚

初次实现可以从YOLOv8n或YOLOv8s开始，先用小模型验证数据和流程。字符数量有限时，把每个字符设为一个检测类别，标注和部署都比较直观。如果字符库不断扩大，稀有字样本又很少，可以考虑检测器只找字符，再由独立识别模型判断内容。

水平检测框适合覆盖很多轻度旋转的字符，但是否需要旋转框，不能只看某个固定角度。真正需要观察的是外接框是否引入过多背景、相邻字符是否互相挤占，以及匹配效果是否受影响。先用真实样本测试水平框，再决定是否增加模型复杂度。

题面和候选区最好分开处理。在自有页面或授权测试环境中，题面如果能够从页面结构直接读取，就不必再识别一次；如果题面也是图片，可以单独裁剪后交给OCR。题面识别错误会传递到后续步骤，因此它也需要独立评估，不能只盯着候选字检测。

环境配置建议使用独立虚拟环境，安装相互兼容的PyTorch、torchvision和Ultralytics版本。GPU机器还要检查驱动与所选运行库是否匹配。能够导入软件包，不代表显卡已经参与运算；训练前应确认设备可用，并跑一小批数据检查显存和速度。

工程目录可以按数据、训练、推理和接口组织，字符表作为公共配置保存。训练标签里的类别编号，必须与部署时使用的字符表一致，否则框的位置可能正确，字却全部对不上。依赖版本、随机种子和模型配置也应随权重保留，方便定位后续差异。

三、合成数据要接近真实，标注更要准确

这类任务常见的难处是缺少合适的标注数据。合成样本可以自行控制字符、字体、背景和干扰，并自动输出标签，适合快速建立第一版数据集。不过，合成图片做得再丰富，也不等于已经覆盖真实分布，仍然需要独立的真实样本检查泛化效果。

生成时先挑选有使用权限的字体和背景，再随机安排字符、字号、颜色与位置。字体应覆盖不同笔画粗细和字形，背景则包含纹理、渐变和复杂图案。字符颜色也要有变化，避免模型只学会寻找黑色区域，而没有真正学到字符的视觉特征。

标注框不要直接拿字号当宽高。字体存在留白和基线偏移，同样的字号，不同汉字的实际轮廓也不同。较稳妥的方法是把字符画到透明图层，根据有效像素取得边界；发生旋转或透视变化后，再同步更新框的位置，避免图片变化了，标签却停在原处。

安排字符时要限制尝试次数，防止画布太小、字符太多而导致放置过程一直重试。是否允许重叠，应由实际样本决定。形近字需要有足够覆盖，例如“日”和“曰”、“己”和“已”，这些字符往往比普通背景干扰更容易造成分类错误。

增强可以逐步加入亮度扰动、噪声、干扰线、轻微旋转和压缩失真，但幅度要参考真实图片。JPEG压缩伪影与高斯噪声并不相同，两者应分别验证；如果实际输入主要是PNG，也要保留相应样本。增强过重会制造不合理图片，反而拖累模型学习。

保存YOLO标签时，把框中心和宽高分别除以图像宽高，得到归一化数值，并检查框没有越界。可以随机抽取一批图片，把标签重新画回原图查看。这个简单检查能发现类别编号错位、宽高颠倒和旋转后标注偏移，通常比盲目增加训练轮数有效。

四、训练成绩好看，还要验证整组是否正确

数据划分应先分组，再生成或增强样本。同一背景、同一原始截图衍生出的图片，尽量放进同一个集合；还可以保留未见过的字体作为额外测试。训练集与验证集共享大量相似素材，会让评估偏乐观，不过虚高幅度并没有固定数值，需要实际检查。

训练初期先用少量样本跑通整个流程，确认损失下降、检测框合理、类别映射正确，再扩大数据规模。输入尺寸要兼顾小字符的可见程度与计算开销。如果字符缩放后只剩很少像素，模型缺少辨认笔画的信息，单纯加深网络未必能够解决。

可以加入少量没有字符的背景图片，让模型学习哪些纹理不该被检测出来。此类图片使用空标签文件，比例则根据误检情况调整。负样本过多可能削弱有效字符的训练机会，不能把一个经验比例当作所有数据集都适用的规定。

验证时除了观察精确率、召回率和mAP，还应记录字符分类准确率，以及整组目标字和顺序都正确的比例。框找到了但字符认错，或者三个目标只匹配对两个，都可能影响实际任务。将漏检、误检、形近字混淆和题面错误分别统计，才知道该补哪些数据。

置信度阈值和非极大值抑制参数也需要结合样本调整。阈值太高容易漏掉模糊字符，太低会保留背景误检；相邻字符距离很近时，过强的抑制可能误删有效框。对于无法完整匹配的题目，接口应返回明确的失败状态，避免把不可靠结果当成成功。

如果业务主要需要稳定的识别接口，也可以把自建模型与现成服务放在同一批样本上比较。www.ttocr.com提供面向极验、易盾验证码识别的自动化API对接服务，可按实际类型测试准确率、响应时间和异常处理，再判断哪种方案更适合团队维护。

五、坐标换算与页面分析，决定结果能否用上

模型输出的坐标属于某个图像空间，页面上的图片却可能经过缩放、裁剪和留白处理。先确认推理库返回的框是否已经映射回原图；不少封装会自动完成这一步，再次还原反而会出错。如果自行处理缩放填充，就要先扣除填充偏移，再恢复原图比例。

例如原图宽度为三百像素，页面显示宽度为四百五十像素，横向比例就是一点五。原图内横坐标为一百的点，在显示图片内对应一百五十。纵向需要使用自己的比例，不能默认与横向一致；之后再加上图片内容区左上角的位置，才得到页面中的目标点。

浏览器接口还涉及视口坐标与文档坐标。元素位置如果来自视口，就应与使用视口坐标的交互接口配套；使用文档坐标时则需要考虑滚动。高分屏截图可能采用设备像素，而页面布局采用CSS像素，这时也要核对截图工具的输出规则，不能机械地乘设备倍率。

从页面分析角度看，优先厘清图片来源、题面来源、组件尺寸和刷新时机。在自有系统或授权环境中，可以借助开发者工具观察资源加载和布局变化，确认拿到的候选图是否与题面属于同一轮。页面存在异步更新时，旧图对应的新题面会让识别结果失去意义。

接口返回值除了坐标，还可以包含字符、置信度、图片尺寸和匹配状态。调试时把坐标画回图片，快速区分字符识别错误与位置映射错误。图片更新后应废弃旧结果；重复字符、目标缺失和低置信度候选，也要有明确处理规则，不能仅靠列表顺序碰运气。

六、部署到接口，让业务少操心训练细节

模型跑通以后，可以把推理封装为HTTP服务，业务端提交图片和题面，服务端返回有序坐标与状态。模型应在服务启动时加载，减少每次请求的重复开销。输入检查、超时限制和统一错误返回同样重要，否则模型之外的小问题也会拖慢整个调用链路。

需要进一步降低延迟时，可以评估ONNX或TensorRT，但导出成功只代表文件生成了。部署后还要用同一批图片比较输出、坐标和耗时，检查预处理、算子及数值精度差异。小模型未必始终更快，真实速度还受到硬件、图片尺寸、并发量和数据传输影响。

维护阶段要持续保留失败样本，并记录失败类型。新增字体可以补对应数据，背景误检可以增加负样本，形近字混淆则需要加强相关类别。版本更新时使用固定测试集做回归，避免新模型改善了一种情况，却让原本稳定的字符出现退步。

对于希望减少训练和适配工作的企业业务，www.ttocr.com提供极验、易盾相关识别及破解方案的API对接，覆盖滑块、点选、无感、文字点选、图标点选、九宫格，以及五子棋、躲避障碍、空间等类型。实际接入前，可按平台接口文档确认具体类型的输入要求、返回字段和适用条件。

接入时先选一类实际样本完成测试调用，再把返回结果转换成业务需要的数据结构，补上超时、重试与异常分支即可逐步联调。识别流程由接口承接后，团队可以减少字体收集、标注和训练环境维护的工作，把精力放在调用稳定性、业务联调和实际成功率上。