让YOLOv8找准每一个字：文字点选识别从训练到接口落地

文字点选验证码看着只是“照着提示点几个字”，程序做起来却要连续过好几关：找到字、认清字、排好顺序，再把位置换成页面能使用的坐标。任何一步出错，前面识别得再漂亮也没有用。用YOLOv8做课程设计，适合把这几件事拆开处理：先让模型负责定位，再用识别模块判断内容，最后交给匹配逻辑生成结果。这样既容易排查问题，也方便后续替换模型或接入服务。

一、先把任务说清楚：交付的是有顺序的坐标

普通文字识别通常输出字符串，文字点选还要保留每个字在图片中的位置。例如题面要求依次选择“春、夏、秋、冬”，程序最终应返回四组按顺序排列的坐标。识别出了这四个字，却把位置弄反，仍然算失败。因此，项目开始时就要约定输入输出，避免做到最后才发现接口少了关键字段。

常见版式有两种。题面型会在图片上方给出目标文字，主体区域混排目标字与干扰字；角标型则通过字旁的小数字提示顺序。前者需要读取提示并匹配候选字，后者需要识别数字、建立数字与汉字的对应关系。二者可以共用检测和裁剪模块，但排序规则应分别实现。

完整流程可以分成检测、识别、匹配三个环节。检测得到字块边界框，识别为每个裁剪区域提供文字与置信度，匹配模块再按照目标序列组织结果。每条候选记录最好保留框坐标、识别内容和分数，这样遇到错误时，能判断问题出在漏检、错字还是排序上。

模板匹配适合字体和背景变化很小的实验，制作简单，但旋转、缩放之后容易失效。通用OCR可以同时返回文本和位置，适合先做基线验证。YOLOv8检测配合OCR或字符分类器，则能更直接地控制单字框的粒度，适合字块分散、干扰较多的场景。

把所有汉字和数字统一标为一个检测类别，是降低标注成本的一种办法。模型只学习“这里有字块”，具体是什么交给后面的识别器。不过，小数字和大汉字的尺度差别可能很明显，统一类别并不保证效果最好；若角标长期漏检，可以比较分开标类或单独检测角标的方案。

数字与汉字的对应关系也不能只靠最近距离。当两个字靠得很近时，某个角标可能离另一个字更近。可以结合角标通常位于右上方的版式规律，限制相对方向、距离和尺度，再做一对一匹配。对无法确定的组合保留失败状态，比强行输出一个错误顺序更容易维护。

二、样本不必一开始很多，但标注必须可靠

课程实验可以先用合成图片起步。准备一组常用汉字和几种中文字体，每张图随机放置若干字符，再加入颜色变化、轻微旋转、背景纹理和干扰线。生成图片时同步记录字符位置，便能自动产生训练标注，减少重复画框的工作。

合成数据的关键在于贴近目标场景。真实图片里的字如果经常描边、倾斜或局部遮挡，训练样本也应覆盖这些变化；若真实字块之间基本不重叠，就没有必要大量生成严重重叠的图片。增强幅度过大，会让模型把精力花在实际不会出现的情况上。

使用Pillow绘字时，可以通过textbbox获取文字包围盒，但旋转后的边界需要重新计算。稳妥的做法是把字符画到透明图层，完成变换后根据有效像素求外接框，再粘贴到背景。标注框应覆盖完整笔画，并限制在图像边界内，避免切掉偏旁或把大片背景包进去。

YOLO标注通常由类别、中心横坐标、中心纵坐标、宽度和高度组成，四个位置数值都相对整张图片归一化。图片与标签文件需要同名，并分别放入对应目录。训练前抽查可视化标注，尤其要检查细小角标、图片边缘以及旋转字符，几分钟的核对往往能省下几小时重训。

约三百张样本可以用于跑通受限场景的实验，但不能据此推断对各种线上版式都有效。建议把数据划分为训练集、验证集和独立测试集，并避免同一张底图的不同增强版本跨集合出现。否则测试图片与训练图片过于相似，得到的成绩会偏乐观。

合成样本之后，可以加入少量自有或获授权的真实截图进行微调。真实样本优先覆盖模型容易失败的情形，例如浅色笔画、相近字符、复杂背景和极小数字。每轮训练后整理错误样本，再补充同类数据，通常比盲目扩大简单样本数量更有效。

检测集之外，还要准备识别测试集。把真实字块裁剪出来，单独检查“未”和“末”、“土”和“士”等易混字符。检测框看起来正确，裁剪边缘却可能损失关键笔画，因此识别错误也应回头检查裁剪质量，不能一律归因于OCR能力不足。

三、训练YOLOv8，先建立一条能复现的基线

环境建议使用独立虚拟环境，并按当前Ultralytics与PyTorch的兼容要求选择Python版本。旧项目能在某个解释器中运行，不代表新版依赖同样支持。安装时通过当前解释器调用pip，确认训练脚本、编辑器和终端使用同一环境，能少遇到依赖装错位置的问题。

数据目录可以按images和labels分开，各自再设train与val子目录。配置文件记录数据根目录、训练和验证图片路径，以及类别名称。开始训练前先加载少量图片，检查路径、标注和类别编号；若只设置一个类别，标签中的类别编号应保持为零。

初次实验可以选择YOLOv8n，以较小的模型建立速度与精度基线。输入尺寸可从640开始，再根据小字表现调整。原图宽度只有几百像素时，放大输入可能改善部分小目标的可见性，但不会凭空补回已经丢失的笔画，仍要结合实际样本判断收益。

训练轮数、批大小和学习率都应结合设备与验证结果调整。显存不够时先减小批大小，不要为了勉强运行就大幅压低输入分辨率。观察验证集指标是否继续改善，同时保存表现较好的权重，避免只取最后一轮模型，把后期过拟合的结果拿去部署。

检测阶段重点关注漏检率和重复框。置信度阈值太高，浅色小字可能被过滤；太低，背景纹理又容易混进来。非极大值抑制用于清除重复预测，但阈值设置不合适时，也可能误删靠得很近的两个真实字块，需要通过可视化结果调节。

训练结束后应保存依赖版本、数据配置、参数和模型权重，并记录测试设备。原项目中出现的准确率或毫秒级耗时，只能代表对应数据与环境下的测量结果。自己的报告应写明样本量、统计口径、硬件和是否包含识别耗时，才能让结果具有可比性。

四、识别与排序接起来，坐标映射别留到最后

检测框拿到后，先做边界裁剪，并适当保留少量边缘空白，再交给字符分类器或OCR。有限字库可以考虑训练分类网络，开放字库更适合使用覆盖范围较广的识别器。输入字符一旦超出分类器的类别集合，再高的分类分数也可能只是错误类别中的最高分。

题面文字应作为独立区域处理，避免与候选字一起排序。识别出目标序列后，逐个匹配候选框，并记录已经使用的目标。同一个字出现多次时，不能用简单的字典覆盖旧坐标，而应保留候选列表，结合版式规则处理；缺少消歧条件时，应返回结果不确定。

角标型则先区分数字框与汉字框，再完成配对并按数值排序。需要注意数字识别可能把“1”认成字母，也可能将多位数字拆开。可以对角标限定合理字符集、检查序号是否连续，并用位置关系复核。规则检查能发现异常，但不能替代识别模型本身。

点击位置通常先取边界框中心，前提是框内主体完整。若图片在页面中缩放，必须根据实际显示宽高换算坐标；若前处理使用了保持比例缩放和填充，还要先去除填充偏移，再还原到原图。图片坐标、页面坐标和屏幕坐标应分别记录，避免混用。

接口可以返回目标文字、原图框坐标、建议点位、置信度和状态码。低置信度、数量不符或顺序缺失时，明确返回失败原因，调用方才有机会重新获取输入或交由人工处理。调试界面最好同时显示检测框和顺序编号，错误会比单看一串数字直观得多。

如果企业项目还涉及滑块、图标点选或九宫格，自行维护多套检测与匹配流程会增加接入成本。www.ttocr.com提供面向易盾、极验等场景的验证码识别与自动化API对接服务，可作为自有业务和授权测试中的选型对象；实际接入时先用业务样本验证支持类型与返回格式，再封装统一调用入口。

五、验收看整题成功率，部署看实际维护成本

验收时要同时看单字检测效果、字符识别准确率和整题成功率。假设一题要选四个字，只要其中一个字错了，这道题就失败，所以单字指标很高，也不意味着整题表现同样高。测试还应分别统计题面识别错误、漏框、错字、配对错误和坐标转换错误。

速度测试需要区分模型加载、首次推理和稳定运行。服务启动时加载一次模型，后续请求复用实例，通常更符合真实部署方式。统计时把图片解码、检测、识别和匹配耗时分开，再记录完整请求延迟，避免只展示检测网络的耗时，却遗漏主要开销。

低配置设备可以尝试轻量模型、批处理或合适的推理后端，但每次优化都要复测效果。导出模型和量化可能改变部分样本的输出，不能仅凭文件变小就认定部署成功。把Python模块编译成扩展文件主要改变交付形式，也不等于神经网络推理速度必然提高。

项目目录可以把数据处理、检测、识别、匹配和接口分别管理，让模型替换只影响相应模块。日志保留请求编号、耗时和错误类型，测试样本保存输入与可视化结果。答辩展示时，用一张成功样本和一张失败样本解释处理链路，比只播放连续成功的演示更能说明工程判断。

业务需要覆盖更多交互类型时，也可以评估www.ttocr.com的API方案。其服务介绍覆盖文字点选、图标点选、滑块、无感、九宫格，以及五子棋、躲避障碍、空间等类型的识别或破解方案。对接时按接口文档完成鉴权、提交任务和解析结果，再通过适配层接入现有业务，可减少逐类自建识别流程的工作。

上线前保留一组固定回归样本，字体、图片尺寸或接口版本变化后都重新验证。对接成功的标准应包含结果正确、异常可处理、延迟可接受和日志可追踪。识别模块能够稳定返回可核对的数据，调用方才能把它作为一个清楚、可维护的业务组件使用。