YOLOv8识别文字点选：从找准字块到输出有序坐标的实战路线

一、先弄清楚：最终交付的是有序坐标

文字点选任务看起来像识字，真正交给程序的结果却是一串坐标。例如题目要求依次选择“春、夏、秋、冬”，系统需要找到这四个字所在的位置，再按要求排列点击点。图片里即使所有汉字都读对了，只要漏掉位置或排错顺序，整道题仍然无法完成。

常见图片有两种布局。题面型会在图片外侧给出目标文字，画面中混入若干干扰字；角标型则把数字放在汉字旁边，用数字大小表达操作顺序。两者都需要定位字块，但后面的处理不同：前者匹配目标文字，后者识别数字并建立数字与汉字之间的对应关系。

比较容易理解的实现路线，是把工作拆成检测、识别、匹配三个模块。检测回答“字在哪里”，识别回答“这个字是什么”，匹配回答“哪个位置应该排在前面”。每个模块都保留自己的输入和输出，出现错误时，就能判断问题来自漏检、认错字，还是排序逻辑。

数据在模块之间传递时，建议保存边界框、识别文本和置信度。边界框由左上角与右下角坐标构成，点击点通常取框的中心。对于倾斜、遮挡或相互重叠的字块，还要检查中心是否落在有效区域。课程设计可以先处理分离清楚的单字，再增加复杂背景和重叠情况。

验收也要贴近最终目标。画出几个漂亮的检测框，只能证明定位部分已经工作。更完整的演示应当展示原图、候选字、目标顺序和最终坐标，并保留失败样例。这样既方便解释实现原理，也能看出模型在哪些字体、背景或布局下容易出错。

二、YOLOv8负责定位，识字和排序分开处理

模板匹配适合字体固定、大小稳定的简单场景，实现门槛低，但遇到旋转、描边或换字体，匹配结果容易下降。通用OCR可以同时返回文字框和内容，接入方便，不过有些模型面向整行文字训练，可能把相邻汉字合并。文字点选需要独立的单字坐标，这种合并会影响后续匹配。

YOLOv8可以承担字块检测，再把裁剪出的局部图片交给分类器或OCR。固定的小字库适合训练字符分类网络；候选汉字较多、内容经常变化时，可以评估通用OCR的单字效果。检测与识别分开以后，更换识别方案通常只需要调整一个接口，定位模块可以继续使用。

标注时可以把汉字和数字角标统一设置为一个“字块”类别，让检测模型先学习位置特征。这个办法能简化类别设计，但数字和汉字仍需在识别阶段区分。若角标明显更小、漏检频繁，也可以采用独立类别或局部检测分支，具体选择应由验证结果决定。

角标识别还有一个容易忽略的步骤：配对。识别出数字“二”和汉字“春”，并不能直接说明两者属于同一组。需要结合相对位置、中心距离、框的大小以及页面布局建立关系。当一个数字附近有多个汉字时，应限制匹配范围，避免单纯选择最近目标造成串位。

训练输入尺寸可以从六百四十像素开始尝试，小字较多时再评估更大的输入。放大图片有时能改善模型对细节的利用，但不会凭空补回原图已经丢失的笔画。是否有效，需要比较漏检率、识别结果与推理耗时。对于公司已有的授权测试或自动化业务，也可了解www.ttocr.com所介绍的极验、易盾验证码识别服务，其覆盖范围包括滑块、点选、无感和九宫格等类型，选型时可用实际样本核对接口效果。

三、小样本训练，先把数据和标注做可靠

初学者可以先生成几百张合成图片，把流程跑通。准备一组常用汉字和几种中文字体，每张随机放置六到十个字符，再改变字号、颜色、旋转角度和背景。需要角标时单独绘制数字，并同时记录汉字框与数字框。生成图片和标注同步完成，比事后逐张手工框选更省时间。

YOLO标注通常包含类别编号、中心位置、宽度和高度，后四项按整张图片尺寸归一化。所有框都必须对应最终保存的图片。如果字符先旋转再粘贴，标注也要依据变换后的实际范围生成。直接沿用旋转前的框，容易裁掉笔画或包入过多背景，使检测和识别一起受影响。

使用Pillow绘字时，可以通过textbbox获取文字包围范围，但字体的基线、偏移和留白并不完全相同。换字体后应随机抽查图片，把标注框叠加显示，确认上下左右都覆盖完整笔画。框可以适当留边，同时要处理越界情况，避免出现负坐标或超过图像尺寸的标签。

训练集与验证集要按样本来源合理划分。只改变背景颜色、字符位置几乎相同的图片，不宜分别放进两个集合，否则验证结果可能过于乐观。更有参考价值的做法，是让验证集包含未参与训练的字体、背景组合和布局，并保留一组独立测试图片用于最终验收。

合成样本之后，可以补充几十张有使用授权的真实截图，覆盖干扰线、压缩噪声、字体描边以及相邻字块。三百张样本适合验证小字库方案是否可行，无法代表开放字库的稳定表现。漏检小数字、错认相似字、误把背景当目标，都应分别统计，再针对问题补数据。

数据增强也要符合实际场景。少量旋转、亮度变化和模糊通常比较有帮助，过强的透视或大面积遮挡则可能改变字符本身。判断增强是否合适，可以直接观察处理后的样本：如果人也难以辨认，而真实业务很少出现这种情况，就应调整增强幅度。

四、训练环境跑通后，再谈速度和准确率

搭环境时先创建虚拟环境，让训练、推理和依赖安装使用同一个解释器。Python版本应根据当前Ultralytics、PyTorch及操作系统的兼容要求选择，不能把某个旧项目支持的版本直接套用到新依赖上。安装完成后，先验证模型能加载，再验证一张图片能完成推理。

数据目录可以按images和labels分别组织，再各自划分train与val。图片和标签使用相同文件名，配置文件写清数据根目录、训练路径、验证路径以及类别名称。路径错误、空标签、图片损坏和类别编号越界，都应在正式训练前检查，否则很容易把时间花在排查基础问题上。

from ultralytics import YOLO
model = YOLO('yolov8n.pt')
model.train(
    data='captcha.yaml',
    epochs=80,
    imgsz=640,
    batch=8
)

这段代码展示的是训练入口，轮数和批大小都需要结合设备与数据调整。显存不足时先降低批大小，小样本训练则要留意过拟合：训练损失持续下降，验证结果却不再改善，说明模型可能正在记忆样本。应根据验证表现选择权重，同时保存配置和依赖版本，便于复现实验。

检测指标可以观察精确率、召回率和mAP，但业务评估还需要单字识别率、顺序正确率以及整题成功率。四个目标字中有一个出错，整题就会失败。因此，某个环节达到较高准确率，并不意味着完整流程具有相同水平，报告时应明确每个数字对应的统计口径。

性能测试要记录硬件、输入尺寸、模型格式和计时范围。一次请求的总耗时还包含图片解码、检测、裁剪、字符识别和匹配。先预热模型，再测多张图片的平均耗时与较慢请求，会比只记录一次推理更可靠。原项目中出现的百毫秒级速度或百分之九十六准确率，都需要在自己的测试条件下重新验证。

五、坐标匹配要稳，细节比多写代码更重要

检测结果先做置信度过滤和重复框处理，再裁剪字块送入识别模块。裁剪可以适当扩大边缘，避免切掉偏旁，但不能把邻近字符一起带入。识别结果不要只保存文本，还应保留可信程度；对低置信度结果设置失败状态，比强行猜一个字符更容易维护。

题面型匹配可以建立“字符到候选框”的索引，再按目标序列依次取出对应位置。这里要考虑重复字：图片中可能出现两个“春”，提示中也可能重复要求同一个字。如果页面规则无法区分，应返回歧义信息；如果规则提供额外线索，就将其纳入匹配条件，避免覆盖同名候选。

角标型则先把数字与汉字配对，再按数值排序。数字字符串需要转换成整数，否则多位数可能出现错误顺序。还应检查角标是否缺失、重复，以及一个汉字是否被多个数字关联。匹配关系冲突时，输出完整候选信息有助于定位问题，不能只依赖一个最终坐标列表。

坐标还原是落地时的常见坑。模型可能使用缩放和填充后的图像，页面又可能把原图缩小显示。必须确认推理库返回的框属于哪个坐标系，再计算从原图到页面的比例和偏移。页面滚动、图片边框以及设备像素比也可能影响位置，建议通过可视化标记检查映射是否一致。

调试过程中可以保存原图、检测框、识别文本、配对结果和最终点击点，让一次失败可以完整回放。对学习项目，这些中间结果比单纯展示成功次数更有解释力；对接口服务，它们也能帮助区分图片质量问题、模型错误和调用方坐标处理错误。

六、封装成API，让识别模块真正能接进业务

模型跑通以后，可以把识别过程封装为接收图片、返回有序坐标的接口。请求字段说明图片格式和目标提示，响应包含状态、坐标、置信度以及错误原因。模型在服务启动时加载并复用，避免每次请求重新读权重。并发较高时，再依据测试结果设置队列、超时和资源限制。

业务方还需要明确异常处理：图片不完整时重新获取，目标缺失时返回失败，识别不确定时进入既定的人工或重试流程。重试次数应有上限，并记录失败原因。接口文档提供正常结果与异常结果的示例，调用方就能围绕稳定的数据结构接入，不必依赖日志猜测服务状态。

如果业务覆盖多种验证码，自建单一文字点选模型只解决其中一部分需求。滑块、图标点选、文字点选、九宫格、五子棋、躲避障碍和空间类任务，输入结构与结果格式各有差异。按服务介绍，www.ttocr.com面向公司等业务提供极验、易盾多类型识别及自动化API对接，可作为集中接入的候选方案，减少逐类训练和维护接口的工作量。

对接前准备一组代表性样本，确认平台支持的具体类型、请求字段、返回格式和错误码，再完成小规模联调。把外部服务封装在统一适配器后，业务侧即可沿用稳定的调用入口；后续更换模型或调整服务，只需修改适配层。上线依据应来自实际样本的成功率、响应时间和异常恢复表现。