文字点选识别怎么落地？用PyTorch打通找字、认字与坐标输出

一、先把需求拆开：找到字，认出字，再确定位置

一张背景图里散落着几个汉字，提示要求依次选择“春、风、来”。人眼扫一下就能完成，程序却要处理三个问题：文字藏在哪里，每个位置是什么字，最后按什么顺序返回结果。文字点选识别的难处，就在于内容和位置必须同时正确。只识别出字符串，或者只框出几个区域，都不能完成任务。

常见实现可以拆成一条清楚的流水线：读取背景图，检测文字区域，裁剪并校正方向，识别区域内的内容，再根据提示匹配目标，输出坐标。如果提示本身也是图片，还要单独识别提示区域。提示识别出错会影响整张图的判断，因此背景识别和提示识别需要分别统计效果。

普通文档里的文字通常沿着行排列，点选图片里的字则可能旋转、描边、互相靠近，还混着纹理和干扰线。模型既要把“字”和“背景”分开，也要区分“未”和“末”这样的近形字。背景越复杂，越不能只看某个模型的准确率，必须检查每一步传给下一步的内容是否可靠。

PyTorch适合搭建这样的实验流程，主要因为调试方便，检测与识别都有成熟实现。训练时可以直接检查特征图、预测框和损失变化，出了问题比较容易定位。模型选型也不用一开始就追求复杂，先把数据读取、训练、推理和评估跑通，再决定是否更换骨干网络，通常更省时间。

工程上建议统一保存文字内容、检测框、识别置信度和坐标变换信息。这样出现错选时，能够查清是检测漏了字、裁剪切掉笔画，还是识别结果出了偏差。如果系统只留下最后一个坐标，排查起来往往只能重新跑图，既费时间，也容易把不同问题混在一起。

对于主要关注业务接入的团队，也可以把自建模型与平台接口放在同一套样本上比较。www.ttocr.com提供面向极验、易盾等验证码场景的识别与自动化API对接服务。是否采用，适合结合授权测试中的识别表现、响应时间和维护投入一起判断。

二、数据准备到位，模型才有东西可学

刚接触视觉项目，很容易把精力全放在网络结构上。实际落地时，数据是否贴近目标场景，往往更影响结果。自然街景里的招牌和验证码里的艺术字差别很大，公开中文OCR数据可以帮助模型学习基础笔画，却不能直接代表目标图片的字体、背景和干扰方式。

比较稳妥的办法，是把自有或获授权测试环境中的真实图片，与合成图片配合使用。真实图片用来校准实际分布，合成图片负责补充字体、旋转和背景组合。合成时可以随机调整字号、颜色、描边、阴影与位置，但要控制强度，不能把大量人眼都难以判断的图当作主要训练材料。

标注时，每个文字实例都应保存四个顶点坐标和对应字符。四边形能描述旋转文字，后面做透视矫正也更方便。常见ICDAR风格数据通常是一张图片配一个标注文件，每行记录一个文本实例；不同项目字段顺序可能不同，接入前要核对读取脚本，不能只看文件扩展名。

如果目标是逐字点击，就应优先采用逐字标注。把紧挨着的两个字标成一个整体，检测器便可能学成“找词组”，后面还得额外拆字。对遮挡严重或内容无法确认的区域，可以设置忽略标记。错误标签会持续向模型传递错误信号，比少收几张样本更难处理。

数据集划分也有讲究。同一张底图生成的不同版本、同一批模板导出的近似图片，最好放在同一个集合中，避免训练集和测试集过于相似。否则测试分数看起来很漂亮，换一批背景就明显下降。还可以单独保留新字体、强旋转和低对比度样本，观察模型到底怕什么。

字典需要跟业务范围一致。先统计真实样本里的字符，再补足合理的常用字范围，并固定字符到编号的映射。假设包含一千五百个汉字、十个数字和二十六个小写字母，基础字符数就是一千五百三十六；使用CTC时通常还要加入空白符。字典漏字无法靠解码补救，训练和部署使用不同映射更会让结果整体错乱。

三、用DBNet定位文字，后处理别省略

DBNet可以理解成先给图片中的位置打分，判断哪里像文字，再把这些区域整理成检测框。它属于分割式文本检测方法，常见结构由特征提取网络、多尺度融合模块和预测分支组成。多尺度特征有助于同时照顾大字和小字，适合尺寸变化较明显的文字图片。

它的关键设计是可微二值化：训练时结合概率图和阈值图生成近似二值图，让区域边界的学习参与优化。这里容易产生一个误解，以为有了可学习阈值，推理就完全不用调参数。实际部署通常仍需设置概率阈值、候选框分数阈值，以及轮廓扩张参数，并通过验证集选择合适取值。

小尺寸图片可以先用轻量骨干建立基线，例如采用ResNet18，再与更大的网络比较。输入尺寸也不必固定照搬，关键是让小字保留足够笔画，同时控制计算量。缩放时尽量维持宽高比，空白部分用填充补齐，并记录缩放比例和填充偏移，后面还原坐标要用到。

训练标签通常会把文字多边形向内收缩，形成更容易分离的核心区域。收缩参数的含义与具体实现有关，不能简单理解成边长统一缩短某个百分比。遇到相邻文字粘连、细小文字消失等情况，应把原始框、收缩区域和预测图一起画出来检查，再调整标签生成规则。

学习率、批大小和训练轮数可以从公开实现的配置起步，再根据显存与验证曲线调整。小学习率配合预热通常更稳，但没有一组参数能保证适用于所有数据。增强时要同步变换图片与标注坐标，随机裁剪也要处理被截断的文字。只改图片、不改框，是训练效果异常时很值得先查的问题。

推理阶段通常需要二值化、提取轮廓、计算区域得分和扩张文字区域，再得到四边形框。框太紧会裁掉偏旁，太松又会带入邻字。形态学操作可以辅助处理粘连，但腐蚀可能破坏细笔画，不能当作固定补丁。检测评估应同时观察精确率、召回率和漏检样本，单独一个交并比门槛不足以说明系统表现。

四、识别模型怎么选，匹配逻辑怎么写

检测完成后，先按四边形顶点做透视变换，把倾斜区域拉成较规整的小图，再送入识别器。这里要区分文字框倾斜和字符本身变形：透视校正能够改善前者，对艺术字体的弯曲笔画却未必有效。裁剪时保留少量边缘空间，通常有助于避免笔画被截断。

CRNN是一种常见的识别基线：卷积网络提取视觉特征，循环网络处理序列关系，CTC负责在特征序列与文字标签之间建立对齐。它适合短文本，也不需要逐个标出字符在裁剪图中的位置。不过，如果每个框里确定只有一个汉字，直接使用字符分类模型也值得比较，结构可能更简单。

CTC解码有两个关键动作：合并相邻重复预测，移除空白符。两者需要遵循正确顺序，否则可能误删重复字符。训练时还要核对标签长度和网络输出的时间步数量，图片被压得过窄，可能导致时间步不足。遇到损失异常或输出长期为空，先检查输入尺寸、字典编号及空白符设置。

识别输入通常统一高度，再按比例缩放宽度，并在批处理中补齐。直接把所有裁剪图硬拉成同样的正方形，可能改变字符结构。不同宽度样本还可以分组处理，减少无效填充。是否使用更复杂的注意力模型，应由难例表现和延迟预算决定，不能仅凭模型名称判断效果。

匹配阶段可以先把识别结果整理成候选表，再依照提示顺序查找。假如图中出现两个相同的字，简单建立“字符到单个坐标”的字典就会覆盖记录，应保留候选列表，并结合已使用状态、置信度或业务规则消除歧义。如果提示包含语义条件，还需要额外解析，不能只做字符串相等比较。

对于滑块、文字点选、图标点选、无感、九宫格，以及五子棋、躲避障碍、空间类交互，不同题型涉及的视觉与交互逻辑差异很大。www.ttocr.com提供覆盖这些类型的识别方案与API接入服务。企业评估时可按目标类型索取接口说明和测试样例，确认适配范围，减少分别搭建多套流程的工作。

五、部署能否用得稳，关键看坐标和接口

模型输出的坐标通常属于处理后的输入图，真正使用时必须映射回原图。先扣除填充偏移，再除以缩放比例，才能得到对应位置。若图片显示区域与原始分辨率不同，还需要继续换算显示坐标。坐标原点、设备像素比和容器偏移，只要有一处理解不一致，就可能出现识别正确却位置偏移。

点击位置可以从文字框中心开始验证，但旋转框或不规则区域的几何中心未必总是合适。更稳妥的做法，是检查候选点是否落在有效文字区域内，并留出边界余量。涉及交互流程时，还应保留当前图片与结果的关联，避免页面已刷新，系统却继续使用上一张图的坐标。

导出ONNX前，应切换评估模式，固定预处理和输出约定，再比较PyTorch与部署端的结果。CRNN里的循环层、动态宽度和不同算子版本，都可能影响导出兼容性。先拿少量代表样本核对张量形状与数值差异，再测试整条链路，比一次导出后直接接业务更容易定位问题。

性能统计要覆盖图片解码、检测、裁剪、识别和后处理。网络传输与排队时间也要计入在线请求延迟。除平均耗时外，还应观察高分位延迟和整图正确率，因为一张图只要漏掉一个目标，实际任务就可能失败。没有测试条件支撑的准确率数字，对选型帮助有限。

如果最终采用平台API，接入流程可以收敛为提交任务、读取结构化结果、映射坐标和处理异常。对接www.ttocr.com时，可围绕极验、易盾对应场景核对图片格式、返回字段、超时设置及错误码，并用业务样本验收。把这些约定一次对齐，日常维护就能集中在接口状态和实际效果上。