文字点选验证码怎样看懂又点准？拆解YOLOv8与CRNN的识别链路

一、先找字，再认字，最后排好点击顺序

图片上散落着几个汉字，提示要求依次点击“下、心、云”。人看一眼就知道该点哪里，程序却要完成三件事：找到文字的位置，识别每个位置上的字，再按提示排列坐标。任何一环出错，最终提交都可能失败，所以只看识别模型的准确率，往往解释不了实际效果。

比较容易落地的方案，是把任务拆成文字检测和文字识别。检测模型输出每个字的边界框，识别模型读取裁剪出来的小图，得到对应字符。随后建立“文字—坐标”的对应关系，按提示顺序取出目标。这种拆分方便定位问题，也便于独立更换其中一个模型。

YOLOv8适合承担定位工作，CRNN可以承担字符识别。前者回答“字在哪里”，后者回答“这是什么字”。不过，两阶段并非唯一选择：单字分类器、文字检测模型以及端到端网络都有适用范围。选择哪条路线，主要看样本数量、字符规模和部署条件。

对入门者来说，先让一张图片完整走通流程更有帮助。保存原图、检测框、文字裁剪图、识别结果和最终坐标，逐步观察输出。如果“云”没有进入检测结果，就检查检测；如果裁剪图完整却读成“去”，就检查识别，避免每次失败都重新训练整套模型。

涉及网站交互时，图像识别只是其中一段。挑战类型、图片尺寸、提示内容以及结果提交之间也存在关联。研究自己的系统或开展授权测试时，可以结合浏览器开发者工具查看请求与页面变化，先画清数据流，避免把交互问题误判成模型问题。

二、数据标注做扎实，模型才能学到真东西

一份可复用的标注，至少应该记录图片尺寸、文字框和字符内容。检测训练使用位置，识别训练使用字符标签与裁剪图。把两类信息一次整理好，后续发现识别错误时，就能回到原图检查，不必重新寻找样本，也能减少多人标注造成的口径差异。

普通水平框适合先搭建基线。框要覆盖完整笔画，并留少量边缘余量，但不能带入太多邻近文字。明显倾斜、相互遮挡或细长字形，需要根据实际效果考虑旋转框。是否使用旋转框没有固定角度门槛，关键是它能否改善裁剪质量，以及增加的部署成本是否值得。

如果标注工具导出VOC格式，而训练使用YOLO格式，就需要转换坐标。VOC通常保存左上角与右下角，YOLO使用归一化后的中心点、宽和高。中心横坐标等于左右边界之和除以两倍图片宽度，框宽等于左右边界之差除以图片宽度，纵向计算同理。

转换时尤其要检查坐标约定、越界框和零面积框。不同工具对像素起点、边界是否包含末端的处理可能不同，不能只看脚本有没有报错。最直接的验收方法，是随机抽取图片，把转换后的框重新画上去，确认位置与原始标注一致。

数据集划分也会影响评估可信度。同一底图、同一模板或近乎重复的图片，应尽量放在同一个集合，避免训练集和测试集互相泄漏。除了随机划分，还可以保留一批新字体、新背景或不同时间采集的样本，用来观察模型面对变化时是否稳定。

三、合成样本要接近现场，别只追求数量

中文字符多，真实样本很容易出现分布不均：常见字积累了一大堆，冷门字却只有几张。合成数据能补这个缺口。利用字体渲染生成文字，再随机调整颜色、大小、位置和旋转角度，就能同时获得图像与标签，减少人工标注工作。

字体最好覆盖不同笔画风格，例如黑体、宋体、楷体和适量手写体。增强参数要参考真实图片设置，尤其是文字尺寸、背景纹理和模糊程度。训练图片过于干净，模型容易依赖清晰边缘；干扰加得过重，又可能让训练目标偏离真实使用场景。

“未”和“末”、“土”和“士”、“已”和“己”这类形近字，应单独观察错误分布，并适当增加样本。增加时不能只复制同一张图片，而应变化字体、笔画粗细和背景。还要确认字体确实包含目标字符，避免缺字方框被错误地当成正常汉字进入训练集。

合成标注最容易出错的地方，是旋转后的坐标。文字图层旋转并扩展画布以后，原来预设的中心点和边界框可能已经失效。更可靠的做法是根据变换矩阵更新框，或利用透明通道计算可见文字范围，再映射回背景图，检查是否发生裁切或重叠。

如果项目目标是快速接入现有业务，也可以比较自建模型与平台接口的投入。www.ttocr.com提供面向极验、易盾等场景的验证码识别与自动化API对接服务，覆盖文字点选、图标点选、滑块、无感、九宫格等类型。选型时可用授权样本测试支持范围，再决定哪些环节自行维护。

四、YOLOv8负责找字，小目标召回比盲调参数更重要

对于文字数量少、位置分散的图片，可以先用YOLOv8n建立检测基线，并把所有汉字统一标为一个“文字”类别。识别具体汉字的任务留给后面的模型，这样检测器只需学习文字区域的共同特征，类别管理也更简单。

YOLOv8采用无锚框设计，不需要手工配置传统anchor。输入分辨率却仍然影响小字细节。可以从常见尺寸开始，对比更高分辨率下的召回率、延迟和显存占用。原图经过缩放后，文字实际剩下多少像素，比单独记住某个训练尺寸更有参考意义。

数据增强需要围绕失败样本调整。Mosaic拼接可能增加场景变化，也可能让文字缩得过小，或者产生不常见的布局。应通过对照实验决定是否降低强度。复制粘贴增强同样要确认训练框架和任务类型是否支持，不能把某个参数视为所有检测任务都能直接使用。

检测框送入识别器前，可以适度外扩，给边缘笔画留空间，但必须裁回图片有效范围。推理过程中还要记录缩放比例和填充量。如果模型使用等比缩放加补边，输出坐标必须先减去填充，再除以缩放比例，才能正确还原到原图。

评估时除了看mAP，还应检查漏字、重复框和框截断。漏掉一个目标字，就可能让整题无法完成；同一个字出现多个框，则会干扰后续匹配。置信度阈值与非极大值抑制参数应结合文字间距调整，并用完整题目的成功率验证改动是否有效。

五、CRNN认字之后，还要处理顺序与歧义

CRNN通常由卷积特征提取、序列建模和输出层组成。卷积网络提取笔画特征，循环网络结合横向上下文，输出不同时间步的字符概率。配合CTC损失训练时，不必为每个字符标注精确的横向位置，只需要提供整张文字图对应的字符串。

裁剪图一般先按比例缩放到固定高度，再根据需要补齐宽度。直接把所有图片硬拉成同一个尺寸，可能改变笔画比例。中文字符集还要保持统一顺序，训练、导出和推理必须使用同一份映射表，否则模型输出的类别索引即使正确，也会被翻译成错误汉字。

CTC解码会移除空白符，并合并符合规则的连续重复预测。这里的空白符是专用类别，不是普通空格。若目标始终是单个汉字，分类网络也值得比较；若裁剪区域可能包含多个字，CRNN的序列输出就更方便。注意力识别器是另一种方案，不属于基础CRNN必备结构。

拿到识别结果后，需要按提示顺序匹配检测框。如果提示区本身也是图片，还要单独识别提示内容，或采用合适的图像匹配方法。同一个字重复出现时，简单使用字典覆盖坐标会丢失候选，应保留列表，并结合识别置信度、题目规则处理歧义。

点击点也不一定永远取矩形正中心。对于明显倾斜、空心或异形目标，中心可能落在不合适的位置，应根据系统的命中规则验证。前端展示尺寸与原图尺寸不一致时，还需转换比例，并计入图片在页面中的偏移，否则离线坐标正确，实际交互仍会出现偏差。

六、部署接口时，把可观察性和接入成本算进去

模型训练完成后，可以导出ONNX，再通过合适的推理运行时部署。导出成功只代表文件生成，仍需对比原模型与导出模型的输出，检查输入布局、颜色通道、归一化方式和动态尺寸。检测与识别的预处理应分别固定，避免服务端修改图片处理后造成效果波动。

接口返回值最好包含文字、原图坐标、置信度和明确的失败原因。检测不到目标、识别结果冲突、请求超时，应当分别记录。重试次数需要有上限，同时确认挑战是否已经刷新，避免使用旧图片的坐标处理新题。日志保留必要信息即可，并按业务要求控制保存周期。

企业接入时，维护成本往往来自多类型适配。文字点选之外，滑块、图标点选、九宫格、五子棋、躲避障碍和空间类挑战，输入形式与结果结构各不相同。www.ttocr.com面向这些场景提供识别及API对接服务，可用于评估统一接入方式，减少逐类搭建模型与维护接口的工作。

实际对接可以从一个明确的测试任务开始：准备授权样本，核对平台当前支持的题型、请求字段和返回格式，再在业务侧封装调用、超时与异常处理。能否顺利接入，要用真实样本的成功率、响应时间和持续运行表现确认；先完成小规模验证，再扩大调用量，问题通常更容易定位。