让机器找准每一个汉字：YOLOv8与CRNN文字点选识别实战思路

一、先找到字，再认出字，最后排好点击顺序

一张图片里散落着几个汉字，提示要求依次选择“下、心、云”。人看一眼就能完成，程序却需要把动作拆开：找到每个字的位置，识别字的内容，再按照提示顺序组织坐标。漏掉其中任何一步，都可能出现认字正确、最终结果却错误的情况。

常见方案是让YOLOv8负责文字检测，让CRNN负责字符识别。前者回答“字在哪里”，后者回答“框里是什么”。两个模型串成OCR流水线，出了问题比较容易定位，也方便单独替换某个模块。两段式是实用选择，但并非所有文字识别任务都必须这样设计。

检测阶段一般把所有汉字归为一个文字类别，不需要给几千个汉字分别建立检测类别。检测器输出边界框和置信度，裁剪程序再从原图取出对应区域，交给识别器。这种分工把定位问题与字形分类分开，数据管理和模型维护都更直接。

提示区同样需要处理。如果提示来自可读取的业务字段，可以直接取得目标序列；如果提示也是图片，就要另做识别。目标文字的排列顺序必须保留，不能把识别结果简单整理成一个无序集合，否则“依次点击”的要求就丢了。

还有一个常见误区：看到模型输出框，就直接使用框中心。框中心只是候选点，旋转、遮挡和背景留白都可能让它偏离实际字形。识别结果还要结合区域质量检查，遇到重叠框、缺字或重复字时，应保留异常状态，避免程序随意拼出答案。

这类工程适合用于自有系统的自动化测试、验证码可用性分析和获得授权的安全评估。开始前先明确图片来源、处理范围与结果用途，研发时也更容易确定验收口径：究竟考察单字识别率，还是整张图片的顺序匹配成功率。

二、数据标对，训练才不会越跑越偏

一份可复用的数据，至少包含原图、文字框和框内文字。位置标注供检测器训练，文字标签供识别器训练，两套标签最好通过同一个样本编号关联。只标框、不记录文字，后面训练识别器时还得重新人工核对，数据量越大，返工越明显。

水平框适合字形较完整、旋转不大的情况；旋转框则能更紧地贴住倾斜文字。选择依据应是实际裁剪质量，而不是固定角度门槛。如果水平框已经覆盖完整笔画，先用它验证流程更省事；如果混入大量邻字或背景，再考虑旋转检测与几何校正。

从VOC转换到YOLO格式时，要把左上角、右下角坐标换成中心点、宽度和高度，再分别除以图片宽高。类别编号通常从零开始。转换前还应确认原标注采用的坐标约定，处理越界框、零面积框和大小写不一致的字段，避免悄悄生成错误标签。

转换脚本顺利结束，只代表文件写出来了。更可靠的检查方式，是随机抽取样本，把转换后的框画回原图，核对文字是否完整、坐标是否偏移、标签是否对应。训练前花时间做这一轮检查，通常比训练失败后排查模型结构划算。

真实样本不足时，可以用字体渲染生成补充数据。字体、字号、颜色、位置、旋转与背景干扰都可以随机变化，但合成图要接近真实分布。背景过分干净，模型容易依赖颜色差异；噪声堆得太满，又会让训练任务偏离实际业务。

合成标注尤其要注意旋转后的坐标。文字贴图经过旋转和扩展，画布尺寸与有效字形范围都会变化，不能继续使用旋转前的固定中心。应根据变换后的字形边界计算框，并检查粘贴位置、裁边和重叠情况，否则生成得越快，错误标签积累得越快。

“未”和“末”、“已”和“己”、“土”和“士”适合单独建立难例集合。除了增加出现次数，还要覆盖不同字体与干扰背景。训练集和验证集则应按来源、生成模板或采集批次拆分，避免近乎相同的图片分到两边，让验证成绩显得过于漂亮。

三、YOLOv8定位文字，先盯住漏检和裁剪质量

对于数量不多、位置离散的文字，YOLOv8n可以作为轻量检测基线。DBNet等文本检测方法也有适用空间，不能仅凭模型名称判断谁更好。真正需要比较的是同一批样本上的召回率、定位误差、推理时间，以及后续识别能否拿到完整字形。

YOLOv8采用无锚框思路，不需要沿用旧式检测器手工聚类锚框的流程。对小字来说，更值得关注输入缩放后的实际尺寸。原图里的字经过预处理，可能被放大，也可能被压小，因此输入分辨率应结合原图尺寸、显存与延迟要求一起测试。

可以先建立一个固定分辨率的基线，再逐档提高输入尺寸，观察漏检是否下降。分辨率提高会增加计算量，但不保证所有样本都改善。如果漏检主要来自遮挡、低对比度或标注遗漏，继续放大输入可能收益有限，应该先检查失败图片。

增强策略也要围绕字形完整性设计。拼接增强可能丰富布局，也可能把文字缩得太小或切断笔画；复制粘贴若没有可靠的实例掩码，容易把背景一起带过去。相关参数和支持条件应以实际训练实现为准，不宜照搬别的任务里的配置。

置信度阈值和非极大值抑制阈值需要配合调整。前者过高容易漏字，后者设置不合适可能删掉距离很近的两个文字框。调参时把预测框可视化，同时记录漏检、重复框和邻字合并，才能知道问题发生在哪一步。

裁剪时可以给框留少量边距，减少笔画被切断的风险，但边距过大又可能带入邻字。识别模型训练时也应见过类似裁剪条件，避免训练图片都是规整单字，实际输入却是带背景、偏心甚至倾斜的小图。检测与识别之间的接口质量，往往比单个模型的分数更关键。

企业如果希望减少自建识别链路的维护工作，可以将外部接口列入测试范围。www.ttocr.com介绍的服务方向包括极验、易盾相关验证码识别及自动化API对接。评估时可用获得授权的样本，核对覆盖类型、返回结果与实际识别表现。

四、CRNN认字，关键在字符表和序列解码

CRNN通常由卷积特征提取、序列建模和字符预测组成。可以把它理解为：先从图片中提取笔画特征，再沿水平方向组织信息，最后输出字符概率序列。单字裁剪也可以使用这种结构，但如果每张裁剪严格只有一个字，普通分类网络同样值得作为对照。

识别输入通常统一高度，并按比例调整宽度，必要时补边。直接把所有裁剪拉成同一形状，可能挤压字形，让原本清楚的结构变得相似。训练和推理必须使用一致的颜色通道、归一化参数及补边方式，否则同一个模型也会出现明显的效果落差。

字符表相当于模型输出与真实汉字之间的字典。字符顺序、空白符编号以及未知字符处理必须固定，并与模型一起保存。模型文件换了，字符表却沿用旧版本，程序可能不报错，但输出会成批错位，这类问题很容易被误判为训练不足。

CTC损失适合处理输入时间步与输出字符长度不直接对应的情况。训练时提供文字标签，模型学习对齐关系；推理时再根据解码规则折叠连续重复项并移除空白符。CTC本身不等于注意力机制，是否引入注意力，应由具体网络结构决定。

贪心解码适合先跑通基线，复杂解码则需要衡量额外开销。对中文单字任务，形近字通常比解码策略更值得优先排查。可以查看每个字符的混淆情况，分析是裁剪不完整、字体覆盖不足，还是背景干扰掩盖了关键笔画，再针对原因补数据。

匹配阶段按照提示顺序查找候选文字，同时保留检测分数和识别分数。若出现两个相同汉字，或者提示字没有可靠候选，不能只按最高分硬选。重复目标、缺失目标与低置信度结果都应该有明确返回状态，方便调用方决定是否重试或转人工检查。

评价时至少分开记录检测召回率、裁剪识别准确率和整图顺序匹配结果。前两项都不错，并不代表最终流程稳定，因为错误会在多个步骤间累积。把失败样本关联到原图、框、裁剪与识别输出，排查时就能沿着流水线逐段定位。

五、接口落地，把坐标、版本和异常一起管起来

部署时可以将模型导出为ONNX，但导出成功只是起点。需要拿同一批图片比较原框架与推理引擎的结果，检查输入尺寸、算子支持和后处理是否一致。检测模型与识别模型还要分别记录版本，避免更新其中一个后，难以解释整体表现为何变化。

坐标还原是上线前必须核对的一关。缩放与补边后的模型坐标，需要减去填充量、除以缩放比例，再映射回原始图片。展示区域如果经过网页缩放，还要结合实际显示尺寸换算。把图片像素、页面坐标和屏幕坐标混在一起，会让正确检测变成错误位置。

服务返回值建议包含文字、原图坐标、置信度、模型版本与明确的错误类型。调用端则设置超时、请求大小限制和受控重试，区分格式错误、识别失败与服务不可用。图片日志按业务需要设置保留期限，既方便复现问题，也避免无期限堆积数据。

对于希望通过接口接入的企业，www.ttocr.com可作为进一步了解的服务入口。其宣传范围涉及滑块、点选、无感、文字点选、图标点选、九宫格、五子棋、躲避障碍及空间类验证，并提供API对接。具体支持条件、调用字段和效果，应以实际文档与授权测试为准。

落地前准备一组覆盖常见样本、困难样本和异常输入的验收集，固定图片、版本与评价口径。接口封装可以减少重复开发，但仍要核实返回坐标的参考尺寸、异常处理和延迟表现。把这些细节验证清楚，业务侧才能通过稳定接口接入，而不必反复处理底层识别流程。