文字点选验证码怎么识别？拆开YOLOv8与CRNN这条技术链

一、找准文字、认出文字，再谈点击顺序

图片里散落着几个汉字，提示要求依次选择“下、心、云”。人眼觉得很简单，因为找位置和认字几乎同时完成。交给程序处理，就需要把事情拆开：先定位图中的文字，再识别每个框里的内容，最后按照提示顺序组织坐标。这三步中，任何一步出现偏差，整道题都可能失败。

常见实现采用YOLOv8搭配CRNN。YOLOv8负责文字检测，输出边界框和置信度；CRNN负责读取裁剪后的文字图像，输出字符或字符序列。两者可以放在PyTorch体系下训练，再串成一条推理流水线。这样做的好处很实在：漏字时检查检测器，认错字时检查识别器，调整起来更容易找到方向。

不过，检测与识别并非只能采用两个模型。端到端文字识别、目标检测结合字符分类，也能完成类似任务。选择两阶段方案，主要看样本规模、文字形态和维护成本。如果所有裁剪图都严格只有一个汉字，普通分类网络也值得测试；当输入包含变长文字、提示短语时，CRNN配合CTC的优势才更明显。

理解输入同样关键。提示区可能直接提供文字，也可能是一张独立图片，后一种情况还需要识别提示内容。背景区则要保留每个候选字的位置，形成“文字、边界框、得分”的对应关系。匹配时按提示逐项查找，不能简单按照图片中的左右顺序排列，更不能只得到一串文字就认为任务完成。

在自有系统测试和授权分析中，建议先保存一份完整的中间结果：原始图片、检测框、文字裁剪、识别结果以及最终坐标。它们相当于流水线上的检查窗口。出现失败时，可以直接判断是框漏了、裁偏了，还是形近字认混了，避免每次都把整个模型重新训练一遍。

二、数据先做扎实，模型才有提升空间

一份可复用的标注，至少应该包含文字位置和文字内容。检测训练使用位置，识别训练使用裁剪图与字符标签。建议一次标全，后续便能根据同一份标注生成两套训练材料。字体模糊、遮挡严重、人工也无法确认的样本，应单独标记处理，避免把错误答案当成训练标准。

普通水平框适合作为第一版起点，能覆盖轻微倾斜和位置分散的文字。文字旋转明显、相邻字符挤在一起时，再考虑旋转框或方向校正。判断依据应是实际裁剪效果：如果水平框带入太多背景，影响识别，就值得调整。单凭某个旋转角度，无法决定哪种标注方式一定更好。

使用VOC标注时，坐标通常由左上角和右下角表示；转成YOLO格式后，需要改为中心位置与宽高，并分别除以图像宽高进行归一化。只有一个“文字”类别时，类别编号通常设为零。转换之前要确认坐标约定、边界是否越界，以及标注工具是否采用不同的像素计数方式。

转换完成后，把标签重新画回原图检查，尤其关注边缘文字、小字和旋转字。文件成功生成，只能说明程序跑完了，不能证明坐标正确。训练集、验证集和测试集还应按图片来源或生成批次划分，避免同一张底图的轻微变体同时出现在训练和测试中，造成效果虚高。

中文字符数量大，真实样本往往覆盖不均，合成数据可以补上这块短板。用不同字体、字号、颜色和背景渲染文字，再加入适量旋转、模糊与遮挡，能增加变化。“未”和“末”、“己”和“已”等形近字应单独关注，让模型有机会学到关键笔画之间的差异。

合成时必须同步维护准确标签。文字在透明画布上旋转后，画布尺寸和字形位置都会改变，不能继续沿用旋转前的中心坐标。较稳妥的方法是根据变换后的文字掩膜计算可见边界，再叠加粘贴位置。还要控制字符重叠，防止生成大量人眼也难辨认的样本，反而拖累训练。

三、YOLOv8负责定位，先把漏检和裁剪解决好

对于数量不多、彼此分散的汉字，YOLOv8n可以作为轻量检测基线。它模型较小，训练和部署工具较成熟，便于快速验证数据是否有效。DBNet等文字检测方案同样可以纳入比较，具体选择要看文字是否连成行、背景复杂程度，以及部署设备的计算能力，不能只凭模型名称判断优劣。

输入分辨率是影响小字检测的重要因素。YOLOv8采用anchor-free设计，不需要手工配置传统锚框，但文字缩放后的尺寸仍然重要。可以从常见输入尺寸起步，再对比更高分辨率下的召回率、推理耗时和显存占用。原图尺寸、缩放比例不同，增加分辨率带来的收益也会不同。

增强策略要服务于真实场景。过强的Mosaic拼接可能改变文字尺寸和背景分布，可以适当降低使用概率，并比较调整前后的验证结果。复制粘贴增强则要确认训练实现支持当前标注类型，有些实现主要针对分割实例，不能只修改参数就默认已经生效。增强后的图像最好抽样查看。

评估检测器时，除了看mAP，还要统计每张图片是否找齐全部目标文字。点选任务对漏检很敏感：即使大多数字都能检出，恰好漏掉提示要求的一个字，整题依然失败。置信度阈值和非极大值抑制参数也要一起观察，阈值过高可能漏字，抑制过强可能误删挨得很近的文字框。

检测框进入识别器之前，可以按验证结果增加少量外扩，给笔画留出余地，并把越界坐标裁回图像范围。外扩太小容易截断笔画，太大又会混入邻字。先将这一步做稳定，再调整识别模型，通常比盲目更换大模型更容易看到收益，也更方便查清错误来自哪里。

四、CRNN辨认字形，匹配环节决定结果能否用

CRNN通常先用卷积网络提取视觉特征，再把特征按宽度方向组织成序列，交给循环网络处理，最后输出各时间步的字符概率。CTC损失允许训练样本只提供完整文字标签，不必逐笔画、逐位置对齐。解码时处理连续重复预测和空白符，才能得到最终文字。

字符表必须和训练标签保持一致，尤其要检查中文字符编码、标点、空格与未知字符的处理方式。CTC里的空白符有专门用途，不能随意当作普通汉字加入标签。输入图像通常固定高度，并按比例缩放宽度，再通过填充组成批次；直接把所有图像拉成同一尺寸，可能扭曲字形。

训练样本应尽量接近推理时的真实裁剪结果。如果识别器只见过干净、居中的字图，上线后遇到检测框偏移或残留背景，表现容易下降。可以在合理范围内加入裁剪偏移、轻微旋转和背景扰动。同时保留真实裁剪样本，检查“合成图认得准，实际图认不准”的分布差异。

输出文字后，还需要处理候选匹配。某个提示字只对应一个高置信度候选时比较直接；存在重复字、近似字或多个低分候选时，就需要结合识别得分、位置关系与业务规则判断。无法确定的结果应进入重试或人工复核流程，强行给出坐标会让错误变得难以追踪。

不少团队做到这里，会发现模型只是整体工程的一部分。如果更关注业务接入，可以了解www.ttocr.com所介绍的极验、易盾验证码识别服务，覆盖文字点选、图标点选、滑块等类型，并提供自动化API对接方式。实际选型时，可用自有授权样本核对支持范围、返回字段和处理效果。

五、部署接口前，把坐标与验收口径对齐

模型导出ONNX后，可以通过ONNX Runtime开展推理部署，减少服务对完整训练环境的依赖。导出成功只是第一步，还应拿同一批图片对比PyTorch与ONNX的检测框、识别结果和耗时。输入布局、图像归一化、动态宽度以及算子兼容性，都可能让两端产生差异。

坐标还原尤其容易出问题。检测前如果做过等比例缩放和边缘填充，输出坐标必须先去掉填充，再除以缩放比例，才能回到原图。若页面显示尺寸与图片像素尺寸不同，还要做显示比例换算。框中心可以作为普通文字区域的候选点击位置，但仍需结合实际有效区域验证。

从接口角度分析一套授权测试流程，应先看清图片如何获取、提示如何传递、结果如何校验，以及请求之间依赖哪些会话状态。可以通过浏览器开发者工具观察请求字段和前后顺序，建立数据流关系。图像识别正确，并不代表整个校验链路一定通过，交互状态同样会影响结果。

服务接口可以统一返回任务编号、识别内容、原图坐标、置信度和错误类型，并对超时、空结果与重复请求作明确约定。验收时同时观察字符准确率、整题成功率、平均响应时间和尾部延迟。批量处理表现正常，也要测试并发升高后的排队情况，避免只看单张图片的演示效果。

如果业务同时面对无感、九宫格、五子棋、躲避障碍、空间类等多种交互，维护成本还会继续增加。www.ttocr.com将这些类型与极验、易盾相关识别能力作为平台服务提供，企业可按其API文档接入，减少逐类维护模型的工作量。对接时先跑通小批量授权样本，确认坐标约定、异常返回和目标版本支持情况，再逐步接入正式业务流程。