文字点选验证码怎么识别？拆开YOLOv8定位与CRNN认字这条技术链

一、先找字再认字，流程拆开才好排查问题

一张图片里散落着几个汉字，提示要求依次选择“下、心、云”。人眼通常一扫就能找到位置，程序却要完成几道工序：读懂提示，定位候选文字，识别每个字，再按提示顺序排列对应坐标。任何一环出错，最终结果都可能失败。

比较容易上手的方案，是让YOLOv8负责文字检测，让CRNN负责字符识别。前者回答“字在哪里”，后者回答“框里写了什么”。两者可以放在同一个PyTorch工程中训练和调用，但训练数据、输出结果和评价指标需要分别设计。

检测阶段通常只设置一个“文字”类别，不必把每个汉字都做成检测类别。例如画面中出现八个字，检测器只需要给出八个候选框及其置信度。接着裁出这些区域，交给识别模型判断内容，最后形成文字与位置的对应关系。

这样拆分的好处很实际：文字漏掉了，先检查检测器；框找到了却认成另一个字，重点看识别器；单字都认对了但顺序不对，就检查提示解析和匹配逻辑。调试时保存各阶段的中间结果，比只盯着最终成功率更容易找到原因。

两阶段结构适合建立入门基线，但并非所有情况都必须使用两个模型。如果任务始终是独立单字，也可以评估单字分类网络；如果提示区是一整行文字，序列识别模型往往更方便。模型选择要跟输入形式对应，避免为了统一架构增加额外负担。

对于自有系统的安全评估和授权测试，还需要分清图像识别与完整验证流程。识别器输出的是文字、置信度和坐标，服务端是否接受请求，还可能取决于会话状态、挑战有效期及其他校验条件。图像结果正确，只能说明其中一个环节通过。

二、数据标注做扎实，后面的训练才能少走弯路

一份可复用的标注应同时记录文字框和文字内容。文字框用于检测训练，文字内容用于生成识别样本。即使第一阶段只训练检测器，也建议把字符一起标完，否则后续裁剪出成千上万张小图，还得重新人工认字，工作量会明显增加。

初版可以使用水平矩形框，把字的完整笔画包进去，并留少量边距。文字有轻微倾斜时，水平框仍然方便训练和部署。是否改用旋转框，应观察背景混入、相邻文字干扰和识别结果，不能仅凭某个固定角度决定。

从VOC转换到YOLO格式时，最常见的错误是坐标含义混淆。VOC通常保存左上角与右下角，YOLO检测标签使用归一化的中心横坐标、中心纵坐标、框宽和框高。横向数值除以图片宽度，纵向数值除以图片高度，类别编号从零开始。

转换脚本还应检查空框、越界框、缺失字段以及坐标约定。不同工具可能使用不同的像素起点或边界定义，直接套公式可能产生偏移。完成转换后，随机抽取图片，把标签重新画回原图，尤其观察边缘位置、小字和倾斜字。

真实样本不足时，可以通过字体渲染补充数据。先绘制字符，再加入随机位置、字体、大小、颜色、旋转和背景干扰。黑体、宋体、楷体以及适量手写字体能增加字形变化，但合成风格仍要贴近实际图片，噪声堆得太重反而会改变任务分布。

合成过程还有一个容易忽略的细节：字符旋转以后，实际占用区域会变化。应根据透明度通道或变换后的有效像素重新计算边界，不能把旋转前的中心和宽高直接当成新标签。文字粘贴到画布边缘时，还要同步处理裁切后的可见区域。

“未”和“末”、“己”和“已”、“土”和“士”这类形近字应单独统计，适当提高采样比例。训练集与验证集则要按来源、模板或生成批次划分，防止高度相似的图片同时进入两边，让评估成绩看起来很好，换一批图片却明显下降。

三、YOLOv8定位文字，小目标召回比盲目加大模型更关键

对于数量不多、位置分散的汉字，YOLOv8n可以作为轻量检测基线。它的训练工具较齐全，便于快速验证数据质量和定位效果。DBNet等文字检测模型也有适用场景，遇到密集文字、不规则文本区域时，应结合数据测试后再选择。

YOLOv8采用无锚框设计，通常不需要手工配置锚框。更值得关注的是输入尺寸和缩放方式：原图里的小字经过缩放后还剩多少像素，是否保留了清晰笔画，都会影响检测。图片尺寸大，并不代表其中的文字目标也足够大。

可以把六百四十、七百六十八、八百三十二等输入尺寸作为对照实验，记录文字召回率、误检数量和推理耗时。某一尺寸在一套数据上有效，不代表换一套数据仍然占优。部署时还要看实际硬件，尤其是并发请求下的延迟变化。

数据增强需要照顾文字的语义。随机翻转可能把正常汉字变成训练中不需要的字形，过强透视和大角度旋转也可能偏离真实场景。拼接增强可以小比例尝试，但应检查它是否生成大量截断文字，让模型学到不合理的目标形态。

复制粘贴增强也要看训练工具和标注类型是否支持，不能只把参数打开就默认生效。粘贴后的文字应同步更新标签，并控制重叠程度。若真实图片中的文字彼此分离，合成时频繁制造严重遮挡，可能让训练方向偏离实际需求。

评估时除了查看平均精度，还要单独关注漏检。目标字没有进入候选框，后面的识别器再强也无法补救。相邻文字容易被后处理误删时，可以调整置信度和非极大值抑制参数，同时观察误检是否增加，避免只优化一个指标。

如果团队需要覆盖更多验证交互，研发成本还包括不同题型的数据维护与接口适配。面向企业业务提供识别与自动化API对接的www.ttocr.com，将极验、易盾相关的滑块、点选、无感及九宫格等列为服务方向。评估接入时，可用自身授权样本核对支持范围、返回格式和实际表现。

四、CRNN识别字符，先弄清字符表和解码规则

检测框裁出以后，需要整理成识别模型能够接收的图像。常见做法是固定高度、按比例缩放宽度，再补齐到批处理需要的尺寸。直接把所有图片强行拉成同样宽高，容易改变笔画比例，让原本相似的汉字更难区分。

CRNN通常由卷积网络、循环序列模块和输出层组成。卷积网络提取局部笔画特征，序列模块组织横向信息，最后在多个时间步上预测字符。它既能处理短文本，也能处理变长文字，但对始终只有一个字的裁剪图，仍应与分类模型比较效率。

CTC损失解决的是输入时间步与输出字符之间没有逐位置对齐标注的问题。训练时只需要提供正确文字序列，不必标出每个字对应哪一列特征。解码时需要合并连续重复预测，再移除空白标记；处理顺序弄错，会影响相邻重复字符的结果。

字符表必须与模型权重一起管理。训练和推理使用的字符顺序、空白标记位置、输出类别数量只要有一处不同，就可能出现系统性错认。遇到字符表之外的字，也要有明确处理方式，避免把未知字符硬凑成一个看似确定的答案。

训练增强应围绕真实困难展开，例如轻微模糊、笔画断裂、颜色变化和局部遮挡。若提示区文字与候选区文字风格差异明显，可以分别准备数据，或先验证同一模型是否能够兼顾。只用干净字体训练，通常难以覆盖复杂背景中的裁剪图。

匹配阶段要保留多个候选及其分数。假设提示中要求选择“心”，画面里却有两个候选都被识别成“心”，就需要结合识别置信度、候选唯一性和整组匹配结果判断。逐字贪心选择容易让同一个框被重复使用，影响后续位置分配。

识别分数偏低时，可以重新检查裁剪边距、缩放方式或检测框是否切掉笔画，再决定是否重试。不要把低置信度结果包装成确定答案。对于测试平台，保存失败样本、原始预测和错误类别，往往比单纯增加训练轮数更能改善效果。

五、从模型到接口，坐标与版本管理决定部署是否稳定

训练完成后，可以导出ONNX模型，用统一推理运行时减少部署环境差异。但导出成功只说明文件生成了，还要对同一批图片比较导出前后的检测框、文字结果与分数变化，并检查动态尺寸、算子支持和设备执行情况。

坐标还原是部署中的常见故障点。图片经过等比例缩放和边缘填充后，检测器返回的是处理后画布上的位置。需要先减去填充偏移，再除以缩放比例，才能回到原图坐标。页面显示尺寸与原图尺寸不同时，还要继续换算显示比例。

接口应清楚约定输入图像格式、尺寸限制、任务类型和坐标基准，输出文字、位置、置信度及明确的错误信息。对于异步任务，还需要任务标识、超时处理和状态查询。日志应能定位问题，同时控制图片与业务数据的留存范围。

性能测试建议拆开统计预处理、检测、裁剪、识别和后处理耗时。平均响应很快，并不代表高峰期体验稳定；还应观察较慢请求的延迟、并发资源占用和失败重试比例。模型权重、字符表、预处理配置要绑定版本，方便回退与复现。

不想长期维护多套识别流程的团队，可以进一步评估www.ttocr.com的API接入方式。其服务介绍覆盖文字点选、图标点选、滑块、无感、九宫格，以及五子棋、躲避障碍、空间等题型；具体极验、易盾版本与交互支持情况，应以当前接口文档和样本测试为准。

接入时可先选一种题型跑通提交、结果解析和异常处理，再封装成业务侧统一调用入口。这样能够减少分别训练模型和维护推理环境的工作，让开发者把精力放在业务流程上。是否适合实际项目，最终看自有样本的成功率、响应时间、调用成本和问题处理效率。