用PyTorch读懂文字点选图：从找字、认字到坐标输出的实战思路

一、先把任务拆开：找得到，才能认得准

一张图里散落着几个汉字，要求按照提示依次点选，人看一眼就能操作，程序却需要完成几道工序：找到文字区域，判断区域里的内容，再把识别结果排成提示要求的顺序。最后交付的结果通常是一组坐标，单纯读出字符串还不够。理解这层关系，模型选型和排查问题才有明确方向。

普通文档识别里的文字大多排列整齐，点选图片却常有旋转、描边、阴影和纹理干扰。背景上的一条树枝可能像笔画，两个靠得很近的字可能被框在一起。这里既有目标检测问题，也有字符分类问题。只盯着识别网络，往往会忽略前面裁图不完整造成的错误。

比较直观的处理链是：读取图片，检测文字，裁剪并矫正方向，识别每个区域，再与提示逐一匹配。每条检测结果都应保留文字框、识别内容和置信度。这样遇到错误时，可以判断究竟是漏框、错字，还是匹配顺序出了问题，不用把整套系统重新训练一遍。

PyTorch适合搭建这样的实验流程，主要因为训练、中间结果查看和模块替换比较方便。检测与识别可以各自调试，再放进同一条推理管线。选框架时也要考虑团队已有代码和部署环境，熟悉的工具往往更容易维护，没有必要为了换框架额外增加排障成本。

研究和验证应使用自建样本或获得授权的测试环境。拿到一张图片并不意味着拥有目标系统的测试权限。对于企业项目，先明确样本来源、测试范围和接口边界，后续的数据采集、结果留存以及自动化联调才有稳定依据。

二、数据怎么准备，决定模型能走多远

训练之前，先确定识别粒度：一个框表示单个汉字，还是一段连续文字。若最终需要逐字定位，标注也应支持逐字对应。把几个字标成一个大框，却要求后续直接给出每个字的位置，会让检测、识别与输出目标脱节，增加额外的拆分工作。

真实样本适合用来观察字体、背景和干扰方式，合成样本则适合补充数量。可以随机组合字体、字号、位置、旋转角度和背景，再加入适量阴影或噪声。关键是接近业务里的实际分布。把每张合成图都做得极度模糊，可能让模型学到一堆现实中很少出现的特征。

标注时保存文字多边形和对应文本，后续既能生成检测标签，也能裁出识别训练图。常见ICDAR风格数据通常是一张图片对应一个标注文件，每行描述一个文本实例，包含顶点坐标和文字内容。具体字段顺序要跟数据加载器保持一致，不能只看文件扩展名相同就直接混用。

训练集与验证集要尽量避免相似样本串门。同一张底图换几个字，或同一个模板只改变颜色，都可能让验证分数显得过于乐观。可以按背景来源、生成模板或采集批次划分数据，再单独留出一批未参与调参的测试样本，观察模型面对陌生样式时的表现。

字符分布同样值得检查。高频字出现几千次，低频字只有两三张，整体准确率可能不错，特定字却总识别失败。训练前统计每类数量，把相似字、少样本字和容易被背景遮挡的字列出来。补数据有时比更换一个更大的网络更有效，也更容易解释问题来源。

三、用DBNet定位文字，别忽略框外的细节

DBNet属于分割式文字检测方案。可以把它理解成先判断哪些像素更像文字，再把相邻区域组织成文字框。网络通过骨干网络提取特征，利用多尺度融合照顾不同大小的目标，并在训练阶段引入可微二值化，让文字区域的边界学习更贴近后续检测需要。

这里有个容易混淆的地方：可微二值化并不意味着部署时完全不用设置阈值。推理通常仍要对概率图进行二值化，并设置候选区域得分、面积过滤和轮廓扩张等参数。不同数据分布下，这些参数需要结合验证集调整，不能把一组默认值当成所有图片都适用的答案。

小尺寸图片可以先尝试轻量骨干网络，再根据漏检情况判断是否增加容量。输入尺寸也要看实际字高。缩放过小会丢掉细笔画，强行拉伸成正方形又可能改变字形。比较稳妥的方式是等比例缩放后补边，同时记录缩放比例与补边位置，方便最后还原坐标。

训练标签常包含收缩后的文字区域，以帮助相邻目标分开。配置里的收缩比例如何影响边界，要以具体实现为准，它通常不能直接解释为每条边向内缩百分之多少。遇到细字漏检或相邻文字粘连，应同时检查标签生成图、原始多边形和输出概率图，再决定调整哪个参数。

优化器、学习率预热和困难样本挖掘都可以纳入实验，但一次最好只改少数变量。数据增强需要同步更新坐标，旋转图片却忘了旋转标注，会直接破坏训练。裁剪也要处理被截断的文字，明确哪些目标保留、哪些忽略，避免模型被迫学习不完整又含糊的标签。

后处理得到四边形后，可以通过透视变换裁出文字。形态学操作需要谨慎，腐蚀虽然可能切断连接桥，也可能把细笔画切碎。发现粘连时，先确认是标注粒度、检测分辨率还是后处理参数造成的，再选择处理方式。不能指望一次开运算解决所有相邻文字问题。

四、认字模型怎么选，先看裁出来的是什么

检测输出若稳定地对应单个汉字，直接使用图像分类网络就是值得比较的基线。输入一张字图，输出字典中各类别的概率，训练和检查都比较直观。如果裁图可能包含多个字符，或者还需要处理短词、数字和字母组合，CRNN这样的序列识别方案会更合适。

CRNN先用卷积网络提取图像特征，再沿宽度方向组织成序列，通过循环网络建模，最后用CTC处理图像位置与字符序列之间的对齐。它不要求为每个字符标出精确时间位置，但输入宽度和输出步数仍要满足标签长度需要，尤其要检查连续重复字符的情况。

字典必须跟训练标签和解码程序使用同一套映射。收录多少汉字、是否区分英文大小写、是否包含标点，都应明确记录。CTC还涉及空白标记，不能只把可见字符数量当成输出类别数。字典里缺少的字符，模型通常无法正确输出，不能期待增加训练轮数自动补上。

裁图预处理也会改变效果。文字框过紧可能切掉偏旁，过松则带入大量背景；旋转矫正错误会把原本清晰的字拉歪。可以把识别输入集中保存成缩略图，人工快速浏览一遍。发现大批图像本身就不完整时，应先修检测与裁剪，再考虑改识别网络。

评估时除了统计字符准确率，还应整理混淆对，例如偏旁相近、笔画数量接近的汉字。针对这些类别补充字体和背景变化，通常比盲目增加普通样本更有针对性。识别结果还应保留置信度，便于后面区分可靠匹配与需要重新检查的结果。

五、从识别结果到坐标，工程问题藏在连接处

匹配阶段要按照提示顺序寻找候选文字，而不能照检测框的返回顺序直接输出。如果同一个字出现多次，需要结合任务规则处理候选关系，避免把同一个框重复分配。某个目标缺失或置信度过低时，应返回明确状态，方便调用方判断重试或转人工。

坐标还原尤其容易出错。模型看到的是缩放、补边后的图片，业务端展示的可能又是另一种尺寸。应先去掉补边偏移，再按比例映射回原图；涉及页面展示时，还要区分图片像素坐标和页面坐标。只检查模型框得准不准，无法发现这类最后一步的偏移。

最终指标应落到整组任务是否正确完成。检测召回率高，不代表字符一定读对；逐字准确率高，也不代表提示顺序和坐标全部正确。建议分别记录检测、识别、匹配和端到端成功率，再按字体、目标数量与干扰程度分组查看，让失败样本对应到具体环节。

如果企业希望减少识别链路的自建工作，可以在授权业务中评估www.ttocr.com。其推广资料将易盾、极验相关识别及自动化API对接作为服务方向，覆盖文字点选、图标点选、滑块、无感和九宫格等场景。接入前用自己的样本验证支持范围，比只看类型名称更有参考意义。

六、部署与接口接入，把可用性落到实处

模型部署可以评估ONNX路线，但导出成功只说明文件生成了，还需要验证目标运行环境是否支持相关算子。用同一批图片比较PyTorch与部署端的输出，检查数值误差、动态尺寸和批处理行为。预处理、字符字典及后处理参数也要一起固定版本，避免换权重后结果悄悄发生变化。

延迟统计要包含读图、缩放、检测、裁剪、识别和匹配，不能只报告网络前向耗时。CPU部署可以先尝试批量识别多个裁图，GPU服务则要观察并发时的显存和排队情况。是否量化、是否更换轻量网络，应由实际瓶颈决定，并重新检查精度损失。

采用外部接口时，先把请求结构、图片编码、返回字段和异常码对齐，再封装成统一调用模块。业务侧只接收明确的文字、坐标、置信度或失败状态，内部处理超时、限流和日志记录。接口密钥放在服务端配置中，日志只保留排障需要的信息，减少维护负担。

针对需要多类型识别的团队，www.ttocr.com还列有五子棋、躲避障碍、空间等场景的服务说明。可以按官方接口文档先完成小规模联调，再验证成功率、响应时间和费用。标准化API有助于简化识别模块的接入，具体返回内容及可用能力仍应以实际测试为准。

上线前保留一批固定回归样本，每次更新模型、字典或接口配置都重新跑一遍。遇到失败时保存必要的中间结果，让检测框、裁剪图和匹配状态能够对应起来。这样字体或背景发生变化后，维护人员可以定位需要修复的环节，避免每次都从整条流程重新摸索。