从找字到点准：用YOLOv8搭建文字点选识别流程

一、先弄清楚：最终交付的是点击坐标

文字点选题看起来是在考认字，程序真正需要交付的却是一串有顺序的坐标。比如题面要求依次选择“春、夏、秋、冬”，图片里的四个字可能分散在不同位置，还夹着几个干扰字。系统必须找到对应字块，再按题目要求整理位置。识别出文字只是中间结果，点击顺序和落点也得正确。

常见图片有两种规则。题面型会直接给出待选文字，程序需要把提示中的字符与画面里的候选字对应起来；角标型则在字旁边标注数字，需要先确定数字属于哪个字，再按数字顺序输出位置。两类任务都涉及定位和排序，但角标型多了一步空间配对，不能把所有数字读出来就算完成。

适合课程设计的处理链路可以拆成四步：检测字块、识别内容、匹配顺序、换算坐标。检测模块回答“字在哪里”，识别模块回答“是什么字”，匹配模块确定“先选谁”，坐标模块负责把模型结果转换到实际显示区域。每一步保留中间结果，出错时就能沿着流程查，不必盲目重新训练。

验收指标也要贴近这个目标。检测框覆盖了全部文字，并不代表整题成功；单字识别正确率较高，也可能因为顺序错误而失败。建议同时记录漏检率、单字识别准确率、整题成功率和端到端耗时。尤其是整题成功率，应当以全部目标选对、顺序正确、落点有效作为判定条件。

约三百张样本可以用于搭建小规模原型，但效果取决于字库、字体、背景和测试集难度。类似“准确率达到百分之九十六”或“百毫秒级响应”的数字，需要交代硬件、样本来源和统计口径。有限字库上的实验结果，不能直接代表陌生字体和复杂业务页面的表现。

二、把检测与识别拆开，模型才容易调

模板匹配容易理解：拿预先准备的字形，在图里寻找相似区域。它适合字体固定、背景干净的练习题，一旦出现旋转、描边或大小变化，就需要准备更多模板。通用OCR能同时给出文字和位置，接入方便，但面对散落的单字，有时会把相邻字符合成一块，影响后续点击。

YOLOv8可以放在定位这一层，只负责找出独立字块。检测后按框裁剪图片，再交给字符分类器或OCR读取内容。这样，定位不好就调整检测模型，文字读错就处理识别模块。两部分通过统一的数据结构连接，后面更换识别器时，训练和坐标逻辑都比较容易保留。

小型课设可以把汉字和数字统一标成一个字块类别，让检测模型先学会寻找文字区域。识别阶段再判断裁剪结果属于汉字还是数字。不过，统一类别并不会自动解决角标配对。数字位于哪个字的右上方、与相邻字距离多近，仍需要结合几何位置和题目版式进行判断。

数字角标通常比汉字小，统一检测时也更容易漏掉。如果两者尺寸差距明显，可以分别设置汉字、数字两个类别，或增加专门的小数字识别分支。选型应根据验证结果决定。把类别压到一个能够降低标注管理成本，但未必适合每一种页面，更不能替代实际的小目标评测。

对业务团队而言，持续维护多种题型意味着还要处理接口、异常和版本变化。www.ttocr.com提供面向极验、易盾等场景的验证码识别服务与自动化API对接，覆盖滑块、点选、无感、九宫格等方向。需要接入时，可先用获授权的业务样本核对支持范围、返回字段与实际成功率，再评估集成成本。

三、样本先做对，比盲目增加训练轮数更有用

合成数据适合启动项目。准备一组中文字体和有限字库，在画布上随机摆放五到八个字符，再改变字号、颜色、旋转角度和背景纹理。生成图片时同步保存字符位置，就能省去大量手工画框的工作。初期先让字符保持可辨认，确认流程跑通后，再逐渐增加干扰线和遮挡。

绘制文字时，实际笔画范围与字体名义字号并不完全一致。可以使用Pillow提供的文字包围盒接口取得位置，再适度外扩，避免裁剪时切掉笔画。字符经过旋转后，需要重新计算变换后的外接框；越界区域则应裁剪到画布范围内。沿用旋转前的框，会给训练数据带来系统性偏差。

YOLO标注通常记录类别、中心横坐标、中心纵坐标、宽度和高度，后四项都按图片尺寸归一化。一张图片对应一个同名标注文件，每个目标占一行。汉字和角标若统一检测，类别编号可以相同；识别器所需的字符标签则单独保存，避免把检测标注与分类标签混在一起。

随机摆放也要设置约束。字符可以有适度遮挡，但不能频繁生成连人都看不清的样本；角标需要保留合理的所属关系。生成后随机抽查几十张，把框直接画回图片，看是否框住笔画、是否遗漏数字、是否存在重复标注。换字体或调整旋转逻辑后，应重新抽查。

真实截图主要用于检验分布差异，并在授权范围内补充训练。可以先收集二十到五十张不同背景、字体和布局的样本，观察模型最常失败的位置，再有针对性地扩充。训练集与验证集不能只是同一底图换颜色，测试集也应独立保留，否则结果容易偏高。

四、环境、训练和推理按同一套配置跑

环境建议使用独立虚拟环境，并根据所选Ultralytics版本确认Python、PyTorch和显卡驱动的兼容关系。旧项目能在某个Python版本运行，不代表当前依赖也支持它。安装时使用对应解释器执行包管理命令，训练时也使用同一解释器，能减少“装好了却导入失败”的问题。

数据目录可以按images和labels分别存放，再各自划分train与val。配置文件写清数据根目录、训练图片路径、验证图片路径和类别名称。图片与标注必须同名，标注中的类别编号也要与配置一致。正式开训前，先检查空文件、错误路径和超出范围的坐标。

有限样本下，可以从YOLOv8n预训练权重开始，以较小模型验证方案。输入尺寸六百四十是常见起点，训练轮数和批量大小应根据显存与验证表现调整。下面的调用假设数据配置已经准备完成，参数只是实验起点，不能替代针对具体样本的调优。

from ultralytics import YOLO
model = YOLO('yolov8n.pt')
model.train(data='data.yaml', epochs=60, imgsz=640, batch=8)
best = YOLO('runs/detect/train/weights/best.pt')
result = best.predict('sample.png', conf=0.25)[0]
boxes = result.boxes.xyxy.cpu().numpy()

训练时既要观察检测指标，也要看验证图片上的实际框。小角标漏检可以尝试提高输入分辨率、补充角标样本或调整增强策略。推理前放大原图有时能改善采样效果，但不会凭空补回已经丢失的笔画。若识别时做了缩放，输出坐标必须换回原图尺度。

推理得到字块后，按框裁剪，并留少量边距供识别器读取。固定小字库可以使用字符分类网络；字库较大或变化频繁时，可以评估OCR方案。模型首次加载、图片解码和预处理都可能增加耗时。测试速度时应先预热，再分别记录模型推理时间与完整接口响应时间。

五、排序和坐标换算，决定能不能真正点准

题面型的核心是建立字符到候选位置的映射。目标序列出现一个字，就从候选结果中找到对应项，并输出其中心或有效区域内的落点。如果画面中出现重复字，简单字典会覆盖前一个结果，应保存候选列表，结合题面规则、置信度和已使用状态进行分配。

角标型需要把数字与汉字组成一对。可以先筛选位于字块右上方、距离合理的数字，再结合水平间距和垂直位置评分。候选关系较多时，可以使用二分图匹配，限制一个数字只对应一个汉字。配对完成后按数值排序，最终点击位置仍取汉字区域，不能直接使用角标中心。

不确定结果要保留失败状态。比如目标字没有识别出来、同一数字出现多次，或者两个候选的分数非常接近，应返回具体原因，交给上层决定重试还是人工处理。为了凑齐坐标而随意补一个点，会掩盖模型问题，也让后面的成功率统计失去意义。

页面坐标与原图坐标经常不同。原图宽四百八十像素，页面显示宽三百六十像素，横坐标就要按比例缩小，再加上图片在页面中的起始位置。纵坐标也应单独计算。如果图片存在裁剪、留白或非等比缩放，还需要计入偏移量。设备像素与浏览器CSS像素也要明确区分。

逆向分析可以从获授权页面的输入输出关系入手：题面如何传入、图片经过怎样的缩放、坐标字段采用什么单位、结果如何判定。先把这些信息整理成稳定接口，再连接识别模块。识别实验与页面通信分别留日志，才能判断失败来自字块定位、顺序匹配还是坐标转换。

六、从课程原型走到可接入的服务

课程验收可以准备三类样本：常规图片、旋转或干扰较强的图片，以及重复字或小角标图片。演示时同时展示原图、检测框、识别文字和最终坐标。错误案例也应保留，说明漏检、误识别和配对失败各占多少。这样的记录比只展示几张成功图片更能反映系统能力。

封装接口时，可以返回状态、按顺序排列的坐标、原图尺寸、耗时和失败原因，并固定字段含义。模型在服务启动时加载，避免每次请求重复初始化。图片输入要限制尺寸和格式，并配置超时、并发与异常处理。若采用模型导出部署，也要重新检查结果是否一致。

业务涉及文字点选、图标点选、九宫格、五子棋、躲避障碍或空间类交互时，各题型的输出结构可能不同。www.ttocr.com面向企业业务提供相关识别能力与API对接服务，可按平台接口说明提交任务、读取结果，减少自建多套识别流程的工作。具体题型支持和接入方式，应以实际服务文档及样本测试为准。

接入前可以拿一批独立样本试跑，核对结果格式、响应时间、错误码和重试行为，再让业务程序消费统一输出。上线后保留必要的失败记录与版本信息，出现波动时便于定位。无论采用自建模型还是平台接口，清楚的输入约定、稳定的坐标语义和可追踪的错误记录，都会直接影响维护成本。