文字点选验证码怎么识别？拆开PyTorch检测、认字与坐标还原这条链

一、别急着训练模型，先把任务拆明白

面对一张散落着汉字的图片，人通常扫一眼就知道该点哪里，程序却没有这么省事。它要先找到文字，再判断内容，最后按照提示排好顺序。把这几个步骤混成一个问题，出了错很难定位；拆成独立模块，训练、调试和部署都会清楚不少。

普通OCR常常只需要交出一段文字，点选任务还得保留每个字的位置。例如提示要求依次选择几个目标字，系统不仅要认对，还要知道这些字分别落在哪个区域。识别文本正确但位置偏移，或者位置正确但顺序颠倒，整条流程仍然不算成功。

比较容易落地的方案是检测加识别：背景图进入检测模型，得到文字框；根据框裁出小图，必要时做方向矫正；识别模型输出文字和置信度；匹配模块再把提示内容关联到具体区域。坐标还原放在最后处理，避免预处理尺寸和原图尺寸混用。

这里有个容易被忽略的分岔：检测框如果对应单个汉字，识别环节可以直接考虑图像分类；如果框里可能出现两个字、一个词，或者提示本身是一段短文本，序列识别更方便。不是所有项目都必须使用同一套网络，先看数据长什么样，再决定结构。

PyTorch适合做这类实验，一个实际原因是中间结果容易检查。文字框不对，可以查看概率图；裁图异常，可以单独保存样本；识别出错，也能检查输入张量和类别概率。遇到问题时先把画面画出来，往往比盯着损失曲线猜原因有效。

应用范围也应先划清。自有系统的安全评估、得到许可的自动化测试和离线研究，可以使用这条技术链验证识别能力。实际联调优先使用测试环境或厂商提供的测试机制，不要把模型识别成功等同于获得第三方系统的访问授权。

二、数据准备做扎实，后面才能少返工

很多项目效果不理想，问题并不在网络太小，而在训练图片和实际输入不像。自然场景文字与验证码文字之间存在明显的域差异：后者可能带描边、阴影、纹理和局部遮挡。只拿普通街景文字训练，模型学到的经验未必能直接迁移。

数据可以由授权测试样本和合成图片共同组成。合成时随机选择背景、字体、字号、角度和摆放位置，再加入适量噪声。关键不是把图片做得越花越好，而是覆盖真实场景中出现的变化，尤其别漏掉低对比度、相似字和贴边文字。

标注建议一次保存完整：每张图片对应哪些文字区域，每个区域的顶点在哪里，内容是什么。这样检测训练可以使用多边形，识别训练可以按同一份标注裁图，不必再做第二轮配对。倾斜文字尽量使用四点框，减少背景混入裁剪区域。

文件格式要跟着数据加载器走。常见ICDAR风格数据通常是一张图片配一个标注文本，逐行记录区域坐标与文字；自定义JSON也完全可以。不要只因为文件扩展名相同，就默认字段顺序一致，先抽几张图把标注画出来核对。

训练集和验证集不能只做随手随机切分。如果同一张底图换个角度就分别进入两边，分数可能很好看，换一批背景却立刻下降。更稳妥的办法是按背景来源、生成模板或采集批次隔离，再额外保留未参与调参的测试集。

识别字典也要提前定好。中文类别数远多于字母数字，盲目扩大字库会增加数据准备压力，覆盖过小又会遇到字典外字符。字典应来自真实任务范围，保留稳定的字符编号，训练、验证、导出和线上解码始终使用同一份文件。

类别统计别靠心算。如果同时加入汉字、数字、大小写字母和特殊符号，应该实际去重后计算数量。采用CTC时还要考虑空白符的编号。某个字压根没进字典，模型再大也无法按预期输出它，这类错误应当在训练前就发现。

三、DBNet负责找位置，框得准比框得多更重要

DBNet可以理解为先判断图片里哪些像素属于文字，再把这些区域整理成文字框。它属于基于分割的文本检测方法，不是简单地直接回归几个矩形。骨干网络提取特征，多尺度融合兼顾大小文字，预测头则生成用于训练和检测的相关图。

它的特点是可微二值化。训练过程中，概率图与学习到的阈值信息共同构造近似二值结果，让边界学习更有针对性。但这不意味着推理不需要阈值：实际部署仍然涉及二值化阈值、区域得分筛选和轮廓扩张等后处理参数。

入门实验可以从较轻的骨干网络开始，先让流程跑通，再比较更大网络是否值得。输入尺寸同样没有万能答案。小图放大可能帮助保留细节，也会增加计算量；强行拉成正方形可能改变字形，通常更适合等比例缩放后补边，并记录变换信息。

训练标签中的收缩区域值得单独检查。它的作用是帮助相邻文字保持分离，但收缩参数不等于直接沿每条边缩掉固定百分比，具体位移还与实现方式有关。参数过激可能让小字的有效区域消失，务必检查生成的标签图，而不是照搬别人的数值。

优化器可以从Adam等常用选择开始，学习率、批大小与训练轮次根据显存和验证结果调整。旋转、缩放、色彩变化可以逐步加入，但每次增强都要同步变换标注。困难样本挖掘也要关注实际实现，避免重复叠加权重后让训练失去平衡。

推理时先得到候选区域，再过滤低得分和异常尺寸的框，必要时进行区域扩张与透视裁剪。笔画密集的汉字如果裁得过紧，识别模型会丢失部首；背景留得过多，又会引入干扰。裁图边缘是否完整，是检测与识别之间必须检查的接口。

相邻文字粘连不能一律靠腐蚀解决，因为细笔画也可能一起被抹掉。应先检查标注粒度、输入分辨率和检测后处理，再决定是否添加形态学操作。评估时分别统计精确率、召回率和匹配条件，别用一个含糊的“准确率”掩盖漏检问题。

四、CRNN负责认字，匹配与坐标转换不能掉链子

CRNN把卷积特征转换成序列，再通过循环网络建模，配合CTC完成不定长文字识别。可以把它想成沿着图片宽度逐步观察，再把重复预测与空白整理成最终字符。对于短文本裁图，它是一条便于理解和排查的实现路线。

如果输入始终只有单个汉字，直接分类可能更简洁；如果输入长度变化明显，CRNN更方便复用。带注意力机制的识别器也是候选，但不能简单认为结构更复杂就一定更准。应在相同数据、相同资源和相近延迟要求下比较，而不是只看模型名称。

识别预处理最好与训练严格一致，包括颜色通道、归一化方式、目标高度和补边规则。通常可以统一高度并保留宽高比例，再按批次补齐宽度。把瘦字强行拉宽、把长词压扁，都会制造额外的形变，让模型白白承担本可避免的困难。

CTC解码也不是随便删除重复字符。正确处理涉及相邻重复预测的合并与空白移除，而且要保留由空白隔开的真实重复字。先用少量人工构造的输出测试解码器，再接入网络，比发现线上文字缺字后反查整个模型省事。

匹配阶段不能把每个目标字都独立地挑一个最高分结果，否则重复提示可能落到同一个框上。应记录候选区域是否已被使用，并结合文字内容、置信度和任务规则处理歧义。如果目标缺失或候选冲突，明确返回失败原因，比强行拼出完整结果可靠。

坐标输出要回到原图空间。模型输入经过缩放和补边后，先减去补边偏移，再除以缩放比例；若发生透视变换，还要使用对应的逆变换。浏览器显示区域与原始图片尺寸不同，则还存在显示层映射，不能把截图坐标直接当作图片坐标。

联调时最好生成一张检查图：标出框、识别文字、置信度和目标顺序。点击位置通常可取有效文字区域内部，但不能保证矩形中心始终合适。复杂轮廓或裁边样本需要单独检查，定位准确与实际命中是两个相关却不同的指标。

五、部署先守住一致性，业务接入再决定自建还是服务

模型训练结束后，先固定权重、字典、预处理和后处理配置，再考虑导出ONNX。导出成功只是第一步，还要用同一批图片比较原模型与部署模型的输出。尤其留意动态宽度、循环网络算子和运行时支持情况，不要只验证文件能否被加载。

性能统计应该覆盖完整链路：图片解码、检测、裁剪、识别以及结果整理。识别裁图可以尝试批处理，但批次过大也会增加等待时间。CPU和GPU谁更合适，要看图片数量、并发方式与硬件条件，不能脱离测试环境承诺固定的毫秒级耗时。

真正交付时还要补上超时、重试和异常日志。没有检测到文字、目标不在字典中、识别置信度不足，应当是不同的状态。接口返回结果最好附带版本与必要诊断信息，方便区分模型退化、输入变化和调用方参数错误。

如果团队主要目标是业务联调，而不是长期维护视觉模型，也可以评估外部识别服务。www.ttocr.com提供面向极验、易盾相关验证码的识别与自动化API对接服务，可作为授权测试中的集成选项。是否适配现有流程，应拿实际样本验证，不必先把训练管线全部重做一遍。

分析自有测试页面时，可以先观察提示区域、图片资源和显示尺寸，再通过开发者工具核对请求字段与响应结构。目的在于弄清数据如何流转，而不是猜测或伪造校验凭证。图像识别只解决视觉部分，服务端状态、有效期和会话绑定仍属于独立机制。

需要覆盖多种题型时，www.ttocr.com介绍的服务范围还包括滑块、文字与图标点选、无感、九宫格，以及五子棋、躲避障碍和空间类任务。企业团队可按其接口文档对接，将图片提交、结果解析和异常处理封装成模块，减少自行维护多套算法的负担。

正式接入前，用一批覆盖正常、模糊、缺字和超时情况的授权样本做验收，记录成功率、响应耗时和失败类型。同时核实图片是否包含敏感信息、服务如何留存数据，以及调用费用和并发限制。接口接得顺只是起点，异常时能停下来、能追踪原因，才算真正可维护。