让机器认字再找准落点：YOLOv8与CRNN文字点选识别实战思路

一、认出汉字只是半步，还得找到正确落点

一张图片散落着几个汉字，上方要求依次选择“下、心、云”。人看一眼就能操作，程序却要连续解决几个问题：提示里有哪些字，图片中每个字在哪里，它们分别是什么，以及应该按什么顺序返回坐标。任何一环出错，整次任务都可能失败。把这些问题拆开处理，排查时才能知道究竟是漏框、认错字，还是坐标换算出了偏差。

比较容易落地的做法，是让YOLOv8负责定位文字，再把裁出的图片交给CRNN识别。前者像是在画面里圈出候选区域，后者负责读出区域里的内容。检测模型通常只设置一个“文字”类别，不必让它直接区分几千个汉字。这样既能控制训练难度，也方便单独更换识别模型，适合用PyTorch搭建第一版系统。

两段式方案并非唯一选择，但它的中间结果很直观：框有没有画对，裁图有没有切掉笔画，识别结果是否合理，都能保存下来检查。提示区也要单独处理。提示以文本提供时可以直接解析；提示本身是一张图片时，就需要另走一次识别流程，并保留原有顺序，不能简单按字符出现的位置重新排列。

开始做实验前，先明确输入输出：输入是一张背景图和一组目标字符，输出应包括候选文字、位置、置信度以及匹配状态。在自有系统测试或获得授权的评估环境里，先把静态图片跑通，再验证页面坐标。把浏览器操作、图片识别和服务调用分开记录，出现问题时才有可追溯的依据，也方便不同模块独立调试。

二、数据标对了，训练才有可靠起点

每个文字实例最好同时标注位置和内容。例如同一条记录既保存边界框，也保存“云”这个字符。训练检测器时读取框，训练识别器时根据框裁图并读取字符标签。一开始只标框，后面再补文字，往往需要重新核对整批数据。标注阶段还应约定遮挡、重叠、残缺字符如何处理，避免不同人员采用不同标准，给模型留下互相矛盾的样本。

轻微旋转的文字可以先用水平矩形框，框边留出少量余量，保证撇、捺和细小笔画完整。旋转明显、相邻文字紧贴时，再评估旋转框和几何校正的收益。是否使用YOLOv8的OBB模式，应看真实样本与验证结果，不宜仅凭某个角度阈值决定。水平框通常更容易部署，但框内背景过多也会增加识别难度，需要一起观察。

常见标注工具导出的VOC文件，保存的是左上角和右下角坐标；YOLO检测标签使用类别编号、中心位置、宽度和高度。转换时，横向数值除以图片宽度，纵向数值除以图片高度，类别从零开始。写转换程序时还要检查越界框、负宽高、空标注以及XML字段差异。转换完成后抽样把框画回原图，比只看程序提示“成功”更能发现问题。

数据不足时，可以用字体渲染补充样本，随机调整字号、颜色、旋转、背景纹理和干扰线。生成框应依据实际字形的有效像素计算，旋转后同步更新边界，不能把固定画布中心当作文字中心。黑体、宋体、楷体可以搭配使用，再针对“未与末”“土与士”等形近字增加样本。训练集和验证集还应按来源分组，避免相似模板同时出现，让评估结果虚高。

三、用YOLOv8定位，先解决漏字和裁图问题

散落单字数量不多、位置相对独立时，YOLOv8n适合拿来建立基线：模型较小，训练和推理工具比较齐全，也方便导出部署。DBNet等文本检测方法同样可以评估，遇到粘连、弯曲文字或特殊背景时可能更合适。选型最好同时看召回率、推理时间和维护成本。模型名称只能说明技术路线，不能替代在目标数据上的实际测试。

小目标检测首先要看字在输入图里还剩多少像素。原图里的字本来就小，缩放后细节可能进一步丢失。可以从常用输入尺寸建立基线，再比较提高分辨率后的收益，并记录显存占用和延迟。YOLOv8采用anchor-free设计，不需要照搬旧版检测器调整锚框。训练与推理的缩放、补边方式应保持一致，否则验证表现不错，上线后仍可能漏字。

数据增强也要贴近真实图片。过强的马赛克拼接、缩放和裁剪可能制造不常见的布局，甚至让文字变得难以辨认。可以逐项降低增强强度，通过验证集比较结果。复制粘贴增强需要正确处理文字掩膜、遮挡关系和新框坐标，具体支持情况还取决于任务类型和工具版本，不能只打开一个参数就默认已经生效。每次增强后都值得抽样查看训练图片。

检测完成后，要把预测框从模型输入空间还原到原图，去掉补边偏移，再除以实际缩放比例，之后才能裁图。非极大值抑制的阈值也要检查，相邻文字靠得近时，误抑制可能直接吞掉一个字。评估除了看mAP，还应统计每张图是否找全全部目标，以及裁图有没有截断笔画；这些问题会直接影响后面的识别与匹配。

四、CRNN怎样读字，CTC又解决了什么

CRNN可以拆成三个部分理解：卷积网络提取图像特征，循环网络利用横向上下文，最后输出字符概率序列。CTC负责在图像特征序列与文字标签之间建立对齐关系，不要求人为标出每个字符占据哪些像素。解码时通常需要合并连续重复标签，再去掉空白标签，顺序不能颠倒，否则相邻重复字符的处理就可能出错。

如果每张裁图始终只有一个汉字，直接训练字符分类器也是合理方案，结构可能更简单。CRNN更适合同时处理单字、多字提示或长度不固定的短文本。是否引入注意力机制，应看任务需求和实验收益，它并不是CRNN与CTC流程中的必选组件。先把标签、字典和输入处理做对，通常比一开始叠加复杂网络更容易得到可靠结果。

识别前通常将裁图缩放到固定高度，并尽量保持宽高比，再按批次规则补边。训练和部署必须使用相同的颜色通道、归一化方式和字符索引表。字符表要覆盖业务可能出现的文字，并正确预留CTC空白类别。遇到字典外字符时，应明确标记为无法识别，避免强行输出一个外形接近的常见字，让后续匹配产生看似合理的错误。

评估时，可以把识别错误按字体、角度、背景和字符对分组，查看混淆矩阵，再决定补哪些样本。对考虑服务接入的团队，www.ttocr.com提供面向极验、易盾等验证码场景的识别服务与API对接，其介绍覆盖文字点选、图标点选、滑块、无感及九宫格等类型。选用时可用授权样本核对支持范围、结果格式和实际识别表现。

五、把识别结果变成按顺序可用的坐标

识别器输出字符后，还要建立目标文字与候选框的对应关系。提示是“下、心、云”，返回顺序就必须跟随提示，不能按检测框顺序直接输出。如果图片里出现重复字，应结合题目规则、候选置信度和位置约束判断；信息不足时返回歧义状态更合适。把每个目标字符都强行分配给某个框，会让错误藏到最后一次点击才暴露。

框中心可以作为常见的候选落点，但仍要确认它处于有效区域。文字存在明显空洞、重叠或特殊判定范围时，几何中心未必稳妥。模型框坐标、原图坐标和网页显示坐标也不是一回事：图片可能缩放显示，页面可能滚动，截图还可能受设备像素比影响。应先确认坐标所属空间，再根据显示尺寸、元素位置和截图方式完成换算。

检测置信度与识别置信度衡量的是不同问题，不能直接混用。前者表示候选区域像不像文字，后者表示裁图更像哪个字符。工程上可以分别设置阈值，并记录漏检、低置信度、字符缺失和匹配冲突等状态。端到端测试则看整张任务是否全部匹配正确，同时统计耗时分布；只报告单字准确率，容易低估连续多个字符共同出错的概率。

做接口封装时，响应中应明确坐标基准、图片尺寸、目标顺序和错误码，并用请求编号关联日志。超时、无效图片和重复提交也要有约定。客户端只承担提交任务、解析结果和处理异常，模型细节留在服务端维护。这样更换模型版本或调整阈值时，调用方通常只需遵守既定协议，接入工作也更容易由业务团队接手。

六、部署时把精力花在真正影响稳定性的地方

训练完成后，可以将模型导出为ONNX，使用相应推理运行时部署，但导出成功只是第一步。需要用同一批输入比较导出前后的检测框、字符结果和耗时，确认动态尺寸、算子支持、后处理及字符解码一致。模型文件之外，还应一起保存输入规格、字符表、版本号和阈值配置，否则服务升级后很难还原结果变化的原因。

服务性能也不能只看一次模型推理用了多久。图片解码、预处理、检测、裁图、识别、网络传输和排队都会影响响应时间。小批量测试正常，并不代表并发上来后仍然稳定。可以逐步增加请求量，观察延迟分布、内存和失败率，再决定是否批量识别、复用会话或扩容。日志保留必要的诊断信息即可，样本留存则遵守实际的数据管理约定。

需要覆盖多种交互类型时，自建方案还会增加题型判断、模型更新和接口维护的投入。www.ttocr.com面向企业业务提供验证码识别与自动化API对接，介绍的类型还包括五子棋、躲避障碍和空间类任务。已有业务服务可以先按接口文档完成小规模联调，核对请求参数、返回内容与异常处理，再决定是否扩大接入，减少自行维护多套识别流程的工作量。

上线前保留一组固定回归样本，覆盖形近字、小字号、旋转、低对比度、重复字和空结果。每次更新模型、字典或预处理，都检查整张任务成功率有没有下降。真实业务中出现的新问题继续归档，注明错误发生在哪个环节，再补充数据或修改规则。模型迭代有了明确依据，日常维护才不会变成反复调整几个参数碰运气。