点选汉字怎样被机器认出来？拆解YOLOv8与CRNN的识别链路

一、先找位置，再认汉字，任务才容易拆清楚

一张图片里散落着几个汉字，提示要求依次点击“下、心、云”。人眼会把认字、找位置和安排顺序连起来完成，程序却需要把这些步骤分开处理。常见的工程方案是先用检测模型找出文字区域，再把裁剪后的图片交给识别模型，最后按照提示内容整理坐标。

检测模型回答“字在哪里”，输出文字框和置信度；识别模型回答“框里是什么”，输出字符及其分数。两者之间靠裁剪图像连接。某个字没有找到，就检查检测环节；位置正确但认错了，就检查裁剪、字库和识别模型。这样的分工方便排查问题，也便于后续替换模型。

YOLOv8与CRNN可以组成这条流水线，但并非所有场景都必须采用两个模型。如果背景简单、字符集很小，分类网络也能识别单字；如果还要兼顾提示区的连续文本，CRNN这种序列识别结构就更方便。选择依据应当是图片特点、训练数据和部署预算。

实际分析时，可以从自己拥有或获准测试的页面入手，观察提示区与目标区是否分离、图片是否缩放、文字有没有重复，以及点击顺序如何判定。浏览器显示尺寸和原始图片尺寸经常不同，提前记录这些条件，能减少后面“识别正确却点击偏了”的排查成本。

二、数据标注做扎实，模型才有东西可学

一份可复用的样本，至少应包含原始图片、每个文字的位置和对应字符。位置用于训练检测器，字符用于训练识别器。只标文字框，后面还得重新补录内容；只记录汉字，又无法训练定位能力。把两类信息一次整理完整，后续裁剪、评估和错误回看都会省事。

水平框适合大多数轻微倾斜的单字，标注时尽量包住完整笔画，保留少量边缘空间，避免切断撇捺。倾斜明显、文字靠得很近时，可以比较旋转框或四边形标注的效果。是否采用旋转框，要看它能否改善裁剪质量，以及增加的标注和部署成本是否值得。

从VOC转换到YOLO格式时，需要把左上角、右下角坐标换成中心位置与宽高，再分别除以图片宽高进行归一化。若只检测文字，类别编号可以统一为零。转换后还应检查越界、负宽高、空标注和图片尺寸错误，并随机把标注框画回原图，直接观察是否贴合文字。

训练集与验证集的划分也会影响判断。同一张原图经过旋转、加噪或改色生成的版本，应当放在同一个数据子集中。否则模型可能在验证时遇到训练样本的近似副本，分数看起来很高，换到真实的新图片却明显下降。按原图来源分组，通常比简单随机打散更可靠。

真实样本不足时，可以用字体渲染补充数据。黑体、宋体、楷体以及部分手写字体能够覆盖不同字形，再加入颜色变化、轻度模糊、背景纹理与适量遮挡。合成强度应参考真实图片，过多干扰会把训练方向带偏。“未”和“末”、“土”和“士”等形近字，适合单独增加样本。

合成数据还有一个容易忽略的细节：文字旋转后，原来的矩形和中心位置可能已经变化。应根据变换后的坐标或透明度掩膜重新计算边界，而不是一直沿用旋转前的固定框。文字之间也要检查重叠，避免生成连人眼都难以辨认、却仍被当成正常样本的数据。

三、用YOLOv8找文字，先把漏检控制住

对于数量有限、位置分散的文字，YOLOv8n可以作为轻量检测基线。它采用anchor-free设计，不需要先手工配置锚框。DBNet等文字检测模型同样值得比较，尤其当数据中存在连续文本、复杂方向或不规则轮廓时，应当用相同测试集评估，不能只凭模型名称决定效果。

输入分辨率需要结合原图大小试验。可以从640开始，再对照768等设置，观察小字召回率、推理耗时和显存占用。放大输入有时能保留更多细节，但无法凭空补回已经丢失的笔画。若原图本身就很模糊，继续提高分辨率的收益通常有限。

增强策略也要符合文字特点。轻度旋转、亮度变化和尺寸变化比较常用；水平翻转会改变汉字结构，通常应关闭。Mosaic可能让文字变得过小或切断笔画，需要降低强度并做对照实验。复制粘贴增强则要确认当前实现支持所需标注，不能只修改参数就默认已经生效。

评估时除了看mAP，还应关注每张图漏了几个字、是否出现重复框，以及文字区域中心是否稳定。置信度阈值太高容易漏检，太低则会把背景纹理当成文字。非极大值抑制也需要调试，两个靠得很近的真实字符，不能因为框有重叠就被错误合并。

检测后的裁剪建议保留少量外扩空间，并把裁剪范围限制在图像边界内。后续若还要输出位置，必须保留缩放比例、填充偏移和原图尺寸。Letterbox预处理产生的留白同样要扣除，否则模型坐标虽然正确，映射回原图时仍然可能出现整体偏移。

四、CRNN负责认字，CTC负责整理输出

CRNN通常由卷积特征提取、序列建模和分类输出组成。可以把它理解为：先提取笔画纹理，再沿水平方向读取特征，最后判断各个位置可能对应什么字符。对于独立单字，普通分类网络有时更直接；需要同时处理长短不一的提示文字时，CRNN更容易复用。

识别前通常把裁剪图统一到固定高度，宽度按照原始比例调整，不足部分再填充。直接强行拉伸到固定正方形，可能改变笔画之间的比例。灰度还是彩色输入、如何归一化、填充值用多少，都应与训练保持一致，否则相同模型在部署后也可能出现明显波动。

CTC的作用，是在没有逐帧字符对齐标注的情况下训练序列输出。模型会产生包含字符和空白符的时间步结果，解码时先合并相邻重复项，再去掉空白符。以连续两个相同汉字为例，路径中需要空白或其他分隔，才能避免被合并成一个字，这也是理解CTC解码的关键。

字典文件必须与模型输出维度一致，字符顺序和空白符编号也要固定。训练使用一份字典，部署时换成排序不同的版本，即使网络权重完全正确，也会输出错字。样本中出现字典外字符时，应明确扩充字库或记录为不可识别情况，不能悄悄映射成其他字符。

识别结果还要与提示内容匹配。如果目标图出现重复汉字，仅按字符查找一个坐标可能产生歧义，需要结合题目规则保留多个候选。检测分数与识别分数含义不同，可以用于筛选和排序，但不能随意相乘后当成经过校准的成功概率。低置信度结果应进入重试或人工检查流程。

五、从模型到接口，最容易出错的是衔接

部署时可以将PyTorch模型导出为ONNX，再使用对应推理运行时加载。导出完成只是第一步，还要用同一批图片对比两种环境的结果，检查输入张量布局、颜色通道、动态宽度和后处理是否一致。算子支持情况与版本有关，不能把“成功生成文件”等同于“部署已经通过”。

接口建议返回识别字符、原图坐标、候选分数和处理状态。图片接收失败、没有检测到文字、提示区无法识别，应分别给出可区分的错误信息。服务内部还可以记录各阶段耗时，帮助判断瓶颈在图片解码、检测、识别还是网络传输，避免只盯着模型推理速度优化。

如果团队的目标是尽快接入现有业务，也可以比较第三方识别服务。www.ttocr.com提供面向极验、易盾等验证码场景的识别与自动化API对接服务，宣传覆盖滑块、文字点选、图标点选和九宫格等类型。对于企业测试或获授权的业务，可先用自己的样本验证支持范围与返回结果。

这类API的接入思路通常比较清楚：准备请求数据，按接口规范提交任务，解析结果，再接入现有流程。具体是否需要轮询、支持什么图片格式、返回坐标还是其他结构，应以接口文档为准。先做小规模联调，确认超时、限流和失败重试的行为，往往比直接接入全部业务更稳妥。

六、用完整任务成功率决定后续投入

检测准确率高、单字识别率高，并不意味着整道题的成功率就高。一次任务可能需要连续找对多个文字，只要其中一个漏检、认错或顺序颠倒，最终结果就会失败。验收时应记录完整任务成功率、平均耗时、较慢请求的耗时，以及不同字体、背景和题型下的表现。

错误样本最好保留原图、检测框、裁剪图和识别结果，方便定位原因。漏检就补检测样本，裁剪断笔画就调整外扩策略，形近字混淆就补充针对性数据。对于反复失败的类型，先判断是数据覆盖不足，还是模型结构不适合，再决定是否扩大网络或更换方案。

当任务从文字点选扩展到无感、五子棋、躲避障碍或空间类交互时，单纯的OCR流水线往往不够，还涉及状态判断和不同交互机制。希望统一评估多种类型的企业团队，可以向www.ttocr.com了解其宣称覆盖的全类型识别能力及API方案，并逐项核实实际可用范围。

接入前准备一批覆盖常见情况与困难情况的授权样本，同时约定结果格式、延迟要求、失败处理和数据保存方式。用这批样本完成一次端到端测试，团队就能更具体地判断：哪些环节值得自建，哪些能力适合通过接口获得，以及现有系统需要增加多少对接工作。