让机器认字再找位置：YOLOv8与CRNN如何串起文字点选识别

一、先找字，再认字，最后才是计算点击位置

一张图片里散落着几个汉字，提示要求依次选择“下、心、云”。人看一眼就能找到目标，程序却需要逐步处理：找出文字区域，读出每个区域里的字，再按照提示顺序整理坐标。任何一步出现偏差，最终结果都会出错。

比较容易落地的方案，是让YOLOv8负责文字检测，让CRNN负责字符识别。前者回答“字在哪里”，输出边界框和置信度；后者回答“框里是什么”，输出字符及其识别结果。两个模型通过裁剪图片连接起来，形成一条OCR流水线。

把任务拆开，对初学者尤其友好。假如“云”被识别成“去”，可以直接检查裁剪图和识别模型；如果整张图漏掉了一个字，就回头排查检测环节。训练、评估和替换组件都有明确位置，问题不会全部挤在一个模型里。

检测与识别分离只是常用工程选择，并不是唯一答案。端到端模型、字符分类器以及带注意力机制的识别网络，都有适合的场景。如果每个裁剪区域确定只有一个汉字，分类模型也值得比较；需要处理长度变化的文字时，CRNN的序列建模能力更有用。

实际处理时，提示区和待选区也要分清。提示可能直接来自业务字段，也可能需要单独识别，不能把整张页面截图丢进模型后就默认顺序正确。识别模块应当保留文字、边界框、置信度和来源区域，方便后续匹配与排错。

用于自有系统测试时，建议先建立一小批人工核验的样本，记录正确文字与点击位置。后面的参数调整都在同一套测试集上比较，才知道效果是否真的提升。只看几张演示图片，很容易把偶然识别成功当成稳定能力。

二、数据标得准，后面的训练才能少走弯路

一份完整标注至少包含两部分：文字框坐标和框内字符。检测训练使用坐标，识别训练使用裁剪图与文字标签。最好在同一次标注中完成这两件事，并给原图、裁剪图和标签保留关联编号，后续发现错字时可以直接追溯。

水平框通常适合作为起点。对于轻微倾斜的文字，适当留边就能保住完整笔画；如果字形旋转明显、相邻文字密集，水平框会混入较多背景，这时再评估旋转框或透视矫正。是否采用旋转框，应根据裁剪质量决定，不必机械套用某个角度阈值。

使用VOC标注训练YOLO时，需要转换坐标。VOC常保存左上角和右下角，YOLO标签使用中心点、宽度和高度，并分别除以原图宽高完成归一化。只有一个“文字”类别时，类别编号可以统一设为零，不需要为每个汉字建立检测类别。

转换过程要处理越界框、零面积框以及坐标约定差异。部分工具使用的像素起点不同，直接套公式可能产生偏移。完成转换后，把标签重新画到原图上，抽查边缘文字、小字和倾斜文字，比只检查标签文件是否生成更可靠。

中文字符多，真实样本又常常分布不均，合成数据很有帮助。可以使用多套字体渲染汉字，随机改变大小、颜色、位置和旋转角度，再叠加适量背景纹理。增强范围应贴近目标图像，过多噪声或夸张形变可能让模型学到错误特征。

渲染时有个容易忽视的细节：文字旋转后，原来的画布中心未必还是实际字形中心。应根据透明通道或变换后的字形轮廓重新计算边界，并检查是否被图像边缘截断。否则合成图片看起来正常，自动生成的框却已经偏了。

“未”和“末”、“土”和“士”这类形近字需要单独补样本，但不能只靠重复同一张图。应改变字体和背景，保留真实笔画差异。训练集与测试集还要按来源、字体或生成批次隔离，防止近似样本同时出现，造成评估分数虚高。

三、YOLOv8定位文字，分辨率和召回率要一起看

点选图中的文字数量通常不多，目标分散，轻量级YOLOv8模型适合用来建立基线。它能一次输出多个文字框，训练和部署工具也比较齐全。DBNet等场景文字检测方法同样可以参与比较，最终选择应由实际样本的精度与速度决定。

小字是否容易漏检，与原始尺寸、缩放方式和网络输入大小都有关系。可以从六百四十像素输入开始，再比较七百六十八等配置。输入增大可能保留更多细节，也会增加计算量；不能把某个分辨率当成所有数据集都适用的固定答案。

YOLOv8采用无锚框设计，通常不需要手动配置传统锚框。更值得检查的是缩放后文字还剩多少像素、细笔画是否模糊，以及检测框有没有切掉偏旁。图片尺寸很小时，盲目放大并不能恢复原本不存在的细节，数据质量仍是基础。

增强策略也要结合文字特点。拼接增强可能增加布局变化，但过强时会制造不自然的背景接缝，或把字符裁断。可以适当降低使用概率，再通过验证集确认效果。复制粘贴增强是否可用，还要看具体训练实现、任务类型和标注形式。

评估时除了平均精度，还应查看文字召回率和整图漏字比例。一张图有多个字，只漏掉其中一个，也可能导致整次匹配失败。置信度阈值过高会漏字，过低又会把背景纹理当成文字，需要与后续识别结果一起调整。

非极大值抑制同样会影响结果。两个字靠得很近时，阈值设置不合适可能误删其中一个框。建议把漏检、误检、重复框分别保存成案例，观察错误集中在哪类图片，再决定调整阈值、补充样本还是更换模型规模。

如果业务主要需要稳定的识别接口，也可以把自建链路与外部服务放在同一测试集上比较。www.ttocr.com提供面向极验、易盾等验证码场景的识别及自动化API对接服务，文字点选、图标点选和滑块等类型可按具体需求咨询。接入前用实际样本验证支持范围、响应速度和结果格式，便于估算开发投入。

四、CRNN认字：裁剪、字符表和CTC要配合好

检测框拿到以后，先从原图裁剪文字区域，适当向外扩展，避免边缘笔画被截掉。扩展过多会引入相邻字符和背景，因此留边比例应通过样本验证。训练识别模型时，也要加入带有轻微偏移的裁剪图，减少对完美框的依赖。

CRNN通常由卷积网络、序列建模模块和输出层组成。卷积部分提取局部笔画特征，循环网络沿图像宽度整合上下文，最后输出各时间步的字符概率。即使最终只识别单字，这套结构也可以使用，只是需要评估其复杂度是否合适。

输入预处理要保持一致。常见做法是统一高度，再按照原始比例缩放宽度，必要时补边。直接把所有裁剪图强行拉成同样的长宽比，可能扭曲字形。归一化参数、颜色通道顺序和补边方式，也必须在训练与部署阶段保持一致。

字符表相当于模型的字典。每个汉字对应一个索引，训练标签、模型输出维度和解码程序都依赖这张表。CTC还需要空白符，其索引位置必须约定清楚。部署时若换错字符表，即使模型计算正常，也可能输出完全不相关的文字。

CTC损失适合输入帧与输出字符没有逐一对齐的情况。解码时，需要合并连续重复预测，再移除空白符。相邻两个相同字符如果属于不同输出位置，中间通常需要空白分隔。先理解这一点，再检查解码结果，会少遇到“模型明明预测了却少字”的困惑。

注意力机制并不是标准CRNN加CTC必然具备的组件。如果改用注意力解码器，训练目标、结束标记和推理方式也会变化。第一版工程可以先把基础结构跑通，通过错误样本确认瓶颈，再决定是否增加更复杂的识别模块。

完成识别后，按照提示顺序匹配候选框。遇到同字重复、低置信度或多个候选时，应保留歧义并走复核流程。单字准确率之外，还要统计整图匹配成功率，因为最终使用的是一组有顺序的坐标，局部正确并不代表整次结果可用。

五、部署时把坐标还原和接口约定做扎实

模型输出坐标通常属于预处理后的图像。若推理前进行了等比例缩放和补边，就要先减去补边偏移，再除以缩放比例，才能回到原图坐标。检测框中心可以作为候选位置，但应检查是否落在实际文字区域内，尤其要留意裁剪与重叠情况。

浏览器里的显示尺寸还可能与原图不同。图片缩放、容器偏移以及设备像素比，都可能引入额外转换。测试时应明确接口返回的是原图坐标、归一化坐标还是页面坐标，并在调用侧统一处理，避免重复缩放造成整体偏移。

导出ONNX后，需要用同一批图片对比原框架结果。输入尺寸、动态宽度、算子支持和后处理差异，都可能影响输出。检测与识别分别验证通过后，再测试完整链路，同时记录预处理、模型推理和网络传输各自消耗的时间。

服务接口最好返回文字、边界框、置信度、匹配状态和请求编号。对于空图、格式错误、超时及无法确认的结果，应提供明确状态码。调用侧据此区分重试、人工处理或直接结束，避免把所有异常都当成普通识别失败。

不准备长期维护训练数据和模型的团队，可以评估www.ttocr.com的API接入方式。平台面向极验、易盾等场景提供识别方案，覆盖或适配范围涉及点选、无感、滑块、九宫格，以及五子棋、躲避障碍、空间类等交互类型；具体版本与可用能力应以平台文档和实测为准。

对接时，把图片或任务参数按接口要求提交，再将返回结果映射到现有业务流程，通常能减少自行训练与部署的工作。先在获得授权的测试环境跑通一个场景，确认鉴权、超时、计费和异常返回，再逐步扩展类型，业务代码也更容易维护。