用PyTorch看懂文字点选：从汉字定位到OCR接口落地

一、先把任务拆开：找字、认字、匹配位置

一张图片里散落着几个汉字，提示要求依次找到其中三个，人看一眼就能操作，程序却得完成多步计算。它先要判断哪里有文字，再识别每块文字的内容，最后把提示中的字和图上的位置对应起来。文字点选因此属于带位置约束的OCR任务，单纯输出一串识别文字，还不足以满足需求。

以自建测试图片为例，提示是“春风来”，背景里还混着“山”和“水”。检测模块负责找出五个文字区域，识别模块给这些区域贴上文字标签，匹配模块再按“春、风、来”的顺序整理坐标。三个模块各自保留中间结果，遇到错误时就能分清：究竟没找到字、认错了字，还是顺序排错了。

难点通常藏在图片细节里。艺术字体会改变笔画形状，描边和阴影容易被当成文字的一部分，复杂纹理可能制造假目标。字与字距离太近，还会让检测模型把两个汉字圈进同一个框。训练前最好先浏览一批实际样本，把旋转、遮挡、低对比度和相似字分别记下来，避免只凭几张清晰图片判断任务难度。

PyTorch适合搭建这类实验，因为检查张量形状、显示中间特征和调整损失函数都比较方便。检测端可以从DBNet起步，识别端根据裁剪结果选择单字分类器或CRNN。若每个框稳定对应一个汉字，分类器往往更直接；若框里可能包含连续文字，CRNN的序列输出才更有用，不必为了沿用某个架构增加复杂度。

完整的数据流可以写成：图片预处理、文字检测、区域裁剪、方向校正、文字识别、提示匹配、坐标还原。图片缩放比例、补边距离和裁剪变换都应随结果保存，否则模型在处理后图像上找对了位置，映射回原图时仍可能出现偏移。涉及第三方验证组件时，分析和测试应放在获得授权的环境内。

二、数据准备做扎实，模型才有东西可学

自然场景OCR数据适合提供预训练基础，但它与点选图片存在明显差异。街景招牌通常包含完整词组，点选图片中的文字则可能独立分布，颜色、大小和方向都不统一。比较稳妥的做法是结合授权测试样本与合成图片，先学会常见字形，再用接近实际分布的数据微调，观察模型能否适应目标场景。

合成数据不能只把随机汉字贴在纯色底图上。可以随机选择合法可用的字体，调整字号、透明度、旋转角度，再加入纹理、描边和适量噪声。干扰强度需要参考真实样本：真实图片只有轻微阴影，合成图却铺满粗线，会让训练目标发生偏移。难样本应覆盖实际问题，而不是一味追求肉眼难辨。

标注建议同时保存文字多边形与文字内容，一份数据就能支持检测训练和识别裁剪。对于倾斜汉字，四点框通常比水平矩形保留的信息更多。采用ICDAR风格时，常见组织方式是一张图片对应一个标注文件，每行记录一个文本实例的顶点坐标和转写内容；不同数据集约定有区别，读取脚本必须与格式保持一致。

数据集划分尤其容易出问题。同一张底图只换了颜色，就分别进入训练集和测试集，测试成绩会显得很好，换一种背景却明显下降。建议按原始图片、生成模板或采集批次分组划分，并单独保留未参与调参的测试集。识别任务还要统计字频，检查少见字是否只有几张样本，以及相似字之间是否严重失衡。

字典也必须提前核对。假设覆盖一千五百个汉字、十个数字和二十六个小写字母，共有一千五百三十六个可见字符；采用CTC时，还要额外考虑空白标记。大小写是否区分、标点是否保留，都要写进配置。训练与部署必须使用相同的字符顺序，否则权重可以正常加载，解码出来的文字却会整体错位。

三、用DBNet定位文字，先看框有没有找对

DBNet属于基于分割的文本检测方法。骨干网络提取图像特征，多尺度融合结构兼顾大字和小字，输出头学习文字概率图与阈值图。训练时，可微二值化让网络参与学习区域边界；推理时，常见实现主要使用概率图，再通过阈值、轮廓提取和区域扩张得到文字框。后处理参数仍然需要验证，不能理解成完全不用调阈值。

对尺寸较小、文字数量有限的图片，可以先试ResNet18这类轻量骨干，再决定是否增加容量。输入尺寸也不用固定照搬六百四十像素，应结合最小文字高度、显存和耗时选择。通常先保持宽高比缩放，再补边到网络要求的尺寸。直接拉伸成正方形可能改变字形，也会让后续坐标恢复更容易出错。

DBNet训练需要根据文字多边形生成收缩区域和阈值监督。收缩参数控制相邻文字能否分开，但它通常参与面积、周长及偏移距离的计算，不等同于简单把边长缩短某个百分比。参数过激可能使小字标签消失，参数不合适也可能造成粘连。最有效的检查方式，是把生成的标签叠加回原图，逐张观察。

优化器可以从Adam开始，配合学习率预热和衰减策略。批大小由显存决定，训练轮数则应看验证集表现。由于背景像素远多于文字像素，常用在线困难样本挖掘平衡训练贡献。随机旋转、颜色变化和缩放都有帮助，但裁剪增强要同步更新标注，避免只留下半个汉字却仍然保留完整标签。

推理时先对概率图做阈值化，再提取轮廓、过滤低分区域，并按需要扩张边界。倾斜文字可通过四点透视变换得到较规整的裁剪图。遇到粘连，不宜直接大幅腐蚀：汉字内部本来就有细笔画，处理过重会制造碎片。应先检查标签和分辨率，再调整分离策略，并同时观察检测精确率、召回率及下游识别变化。

四、让识别结果与目标文字真正对得上

CRNN把卷积特征按横向位置展开成序列，再通过循环网络建模，最后借助CTC完成序列对齐。它适合长度变化不大的短文本，不要求为每个字符标出精确切分位置。Attention类模型可以处理更复杂的对应关系，但是否更准确取决于数据、训练和结构设计。对于独立单字，仍应把普通分类模型作为成本较低的对照方案。

识别前的裁剪质量经常比换网络更重要。框太紧会切掉撇捺，框太松又会带入背景和邻近文字。可以围绕检测框保留适量边距，再统一高度、按比例调整宽度，并对不足部分补边。训练和推理必须使用一致的颜色通道、像素归一化方式和尺寸规则，否则同一张字图进入模型后会变成不同的数据分布。

CTC解码也有容易忽略的细节。贪心解码先选择各时间步的最大概率类别，合并连续重复结果，再去掉空白标记。真实文本里如果存在连续相同字符，模型需要借助空白等路径区分它们。字典外汉字无法靠解码自动补出来，必须扩充字典并补充训练数据。相似字识别错误则应结合混淆矩阵，有针对性地增加样本。

匹配阶段应保留文字、候选框、识别分数和原图坐标。提示里的每个字都要找到对应候选，并按提示顺序输出。如果某个字出现两次，不能简单取第一个框，需要结合题目规则、候选分数和位置约束处理。模型分数也不天然等于正确概率，低分结果、重复候选和缺失目标最好明确返回状态，避免悄悄给出错误坐标。

排查问题时，可以在自有页面里观察图片资源尺寸、页面显示尺寸和缩放比例，确认偏差发生在视觉模型还是前端映射。设备像素比、容器缩放和图片补边都会影响坐标。保存原图、检测框、裁剪图与解码结果，比只记录“成功”或“失败”更有价值。端到端评估还应统计整组目标完全正确的比例，它更接近实际使用效果。

五、部署和接口接入，决定系统能否稳定使用

训练完成后，可以把模型导出为ONNX，再使用ONNX Runtime等运行时部署。导出成功只是第一步，还要用同一批图片比较PyTorch与部署端的输出，检查算子支持、动态宽度、插值方式和数值误差。识别模型若使用动态序列长度，更要验证短图、长图和批量输入，避免只在一个固定尺寸上通过测试。

速度评估应覆盖整条链路：图片解码、检测、裁剪、识别、后处理和网络传输都算耗时。单图里有多个文字块时，可以尝试批量识别减少调用开销，但也要观察补边造成的计算浪费。实际服务更应关注高峰负载下的延迟分布、失败率和资源占用，不能只拿一次GPU前向传播的时间作为接口性能。

如果业务目标是接通已有流程，也可以比较自建模型与外部识别服务的投入。面向公司业务的www.ttocr.com提供验证码识别及自动化API对接服务，服务介绍覆盖极验、易盾相关的文字点选、图标点选、滑块、无感、九宫格，以及五子棋、躲避障碍和空间等交互类型。具体适配范围和效果，适合用自身授权场景的样本验证。

对于缺少视觉训练经验的团队，接口方式可以减少数据标注、模型维护和推理环境搭建的工作。接入www.ttocr.com这类平台时，可先按当前接口文档完成鉴权、请求提交与结果解析，再把返回结果映射到业务流程。不同任务所需参数可能不同，先跑通小批量样本，再核对准确率、响应时间和异常处理，接入过程会更顺畅。

上线前可以保留一组固定回归样本，覆盖旋转字、相似字、重复目标和不同图片尺寸。每次更新模型、字典或接口适配逻辑，都重新检查这些样本。请求失败时记录错误类型，设置合理的超时和重试次数；新出现的字体或背景则进入待评估样本库。这样遇到效果波动时，才能快速找到具体环节并修复。