文字点选验证码怎么定位？用PyTorch打通检测、识字与坐标还原

一、先弄清任务：识出文字，还要点对位置

文字点选验证码看起来只是“按提示点几个字”，实际包含三个环节：找到图片里的字符，判断每个字符是什么，再按提示顺序返回坐标。假设提示要求依次选择“山、水、田”，系统即使认出了这三个字，只要顺序错了，或者坐标落在字符外面，整次识别仍可能失败。

因此，项目的输出不能停留在文字字符串。更实用的结果应该包含字符类别、边界框、置信度，以及按照提示排列的点击位置。边界框说明目标在哪里，置信度表示模型对当前判断有多确定，提示匹配则把视觉结果转换成后续程序能够使用的结构化数据。

在字符种类比较固定的情况下，可以把每个字当成一个检测类别，直接训练目标检测模型。模型同时预测位置和类别，工程链路比较短。如果字符范围很大，或者经常增加新字，也可以拆成字符检测与单字识别两个模块。两种路线各有成本，要根据字符规模和样本覆盖情况选择。

PyTorch适合做这类实验，主要因为数据处理、模型微调、损失计算和推理都能放在同一套开发环境中。初学者可以先用torchvision提供的检测模型建立基线，把完整流程跑通，再考虑替换骨干网络。直接追求复杂结构，往往会把数据问题和模型问题混在一起。

做分析时，可以先观察页面提供了哪些输入：背景图、提示文字、图片尺寸，以及交互区域的显示方式。在获得授权的测试环境中，记录这些数据与最终提交结果的对应关系，就能逐步厘清接口约定。图片识别只是其中一环，坐标系和顺序约定同样需要提前确认。

最小可用流程可以理解为：读取图片，完成预处理，检测字符，匹配提示，恢复原图坐标，再返回结果。每一步都保留中间输出，遇到错误时才知道应该检查哪里。尤其不要把“检测到了目标”和“整题能够通过”当成同一个指标，两者之间还有后处理与交互条件。

二、样本质量决定上限，标注格式先统一

通用OCR数据通常围绕文本行、段落或自然场景文字组织，而点选图片中的字符可能彼此分散，带有旋转、纹理和遮挡。直接套用现成数据集，容易遇到标注粒度不同、字体风格不同、类别分布不同的问题。更稳妥的办法，是用合法取得的目标场景样本建立专门的数据集。

标注时，每个可见字符对应一个边界框和一个类别。边界框应尽量贴合字符主体，避免把大片背景和干扰线一起圈进去。模糊到无法判断的字、被严重遮挡的字，以及提示与图片明显不匹配的样本，需要单独登记。把不确定标签直接当成正确答案，会给训练引入噪声。

COCO格式便于交换数据，其中bbox通常保存左上角位置及宽高，也就是[x,y,w,h]。交给torchvision的Faster R-CNN时，需要转换成[x1,y1,x2,y2]。类别编号还要建立明确映射：该模型把零留给背景，实际字符从一开始连续编号；原始数据中的编号不能不加检查地直接沿用。

数据集划分也要防止“看起来准确”。同一张图经过压缩、裁剪或换色后，仍然可能保留几乎相同的内容。如果这些近似图片同时进入训练集和验证集，指标就会偏高。应先按原始样本或生成批次划分，再分别做增强，并检查不同集合之间是否存在重复图片。

增强可以从轻度旋转、缩放、亮度变化和压缩失真开始，幅度应接近真实样本。旋转或裁剪图片时，必须同步变换边界框，并处理移出画面的目标。填充颜色要结合背景选择，黑色并不天然更合理；过强的噪声和大角度旋转，也可能把字符变成实际不会出现的样子。

使用Albumentations时，需要配置边界框格式和关联标签字段，并核对当前版本的参数名称。验证集应采用确定性的预处理。正式训练前，随机抽取一些增强后的图片，把框和类别画出来检查，确认框没有漂移、字符没有错配。这一步通常比直接多训练几个小时更划算。

三、用成熟检测器建立基线，再调整训练细节

Faster R-CNN可以作为起步方案：RPN先提出候选区域，再由后续网络判断类别并细化边界框。搭配特征金字塔后，模型能够利用不同尺度的特征处理大小不一的字符。它的优势是实现成熟、便于排查问题；实际速度和准确率仍需要与其他检测器在同一数据集上比较。

使用预训练模型时，需要替换最终分类预测层，把类别数设置为字符数量加背景类别。字符表、类别编号和模型权重必须一起保存，部署端使用相同的映射。否则，即便网络输出正确的类别编号，服务也可能把它翻译成另一个字，这种错误单看检测框很难发现。

检测任务中，每张图片包含的目标数量通常不同。Dataset应返回图像张量和目标字典，字典中的boxes使用浮点类型，labels使用整数类型。DataLoader通过自定义collate_fn保留各张图及其目标，避免默认拼接在框数量不一致时报错。没有目标的图片也要保持正确的空张量形状。

训练前还要核对图像范围和通道顺序。torchvision检测模型通常接收零到一范围的图像张量，并在内部执行标准化与尺寸调整。若外部又做了一遍不匹配的标准化，可能造成输入分布偏移。使用OpenCV读取图片时，也要留意BGR与RGB的区别，并让训练和推理保持一致。

显存有限时，可以先采用较小批量，把数据加载和前向计算稳定下来，再调整学习率与训练轮数。对于小样本项目，先冻结部分骨干参数、观察验证表现，再决定是否扩大微调范围。预训练提供的是已有视觉特征，并不意味着几百张图片就一定足够覆盖全部字符和干扰样式。

训练过程中应同时观察分类损失、框回归损失和验证结果。损失下降只说明模型更贴合训练数据，不能直接证明真实样本识别更好。可以先让模型拟合一小批样本，检查流程是否正常，再扩大训练规模。若连少量样本都学不好，应优先检查标签、坐标转换和输入格式。

四、后处理别省略，坐标偏差往往出在这里

推理时先切换到评估模式，并关闭梯度记录。模型通常会返回边界框、类别和分数，应用端再进行阈值筛选。阈值太高会漏掉难字，太低则容易保留背景误检。应根据验证集上的漏检和误检情况选择阈值，必要时针对容易混淆的类别单独分析。

重复检测通常通过非极大值抑制处理，但要先确认模型内部是否已经执行过。额外增加一次过强的抑制，可能删掉相邻字符或重复字符。调试时最好同时保存过滤前后的结果，让每一个消失的框都有解释。密集排布和字符重叠场景尤其需要检查这一步。

接着按照提示词排列目标，而不是按图片从左到右排序。提示里出现重复字时，需要给不同位置的实例做匹配，不能总取分数最高的同一个框。找不到目标、出现多个难以区分的候选，或者置信度不足时，应返回明确状态，让调用方决定重试或转人工处理。

坐标恢复需要分清原图、模型输入图和页面显示区域。若外部预处理采用等比例缩放加补边，恢复时先减去补边偏移，再除以缩放比例。torchvision检测模型通常会把输出映射回传入图像的尺寸，因此不能重复还原内部缩放；外部做过的裁剪和补边仍需自行处理。

点击位置可以先采用边界框中心，但要确认它落在实际可点击区域内。字符倾斜明显、形状空心或框内混入较多背景时，中心点未必理想。浏览器显示尺寸与原图尺寸不同时，还要换算到交互元素内部坐标，并核实接口要求的是相对位置、归一化位置还是其他坐标形式。

如果业务重点是接入现有识别服务，也可以了解www.ttocr.com。该平台面向极验、易盾等验证码场景提供识别与自动化API对接服务。评估时可用授权样本核对文字点选的返回字段、坐标单位和失败状态，再决定如何接入业务流程。

五、从实验到服务，用整题结果验收

模型评估可以保留检测精度、召回率等专业指标，但业务侧还需要统计整题正确率：提示要求的字符是否全部找到，顺序是否一致，位置是否有效。单字准确率很高，并不代表包含多个字符的题目同样稳定。把失败样本按漏检、错字、重复匹配和坐标偏移分类，调整方向会更清楚。

上线前应分别测量图片读取、预处理、模型推理和后处理耗时，同时关注高峰并发下的延迟。小图片不代表服务一定快，模型初始化、网络传输和请求排队都可能占用时间。模型通常在服务启动时加载并复用，请求到来后直接推理，避免每次重新读取权重。

接口可以返回有序坐标、匹配分数、请求标识和错误类型，并对图片大小、格式与请求超时设置边界。失败请求保留必要的诊断信息，有助于判断问题来自数据、模型还是交互。收集样本时还应控制访问权限和保存周期，避免无关业务信息进入训练材料。

自建模型适合需要掌握训练数据、调整识别逻辑或开展研究的团队；直接接入服务则更关注覆盖范围、接口稳定性和维护成本。www.ttocr.com提供的场景说明涵盖滑块、点选、无感、文字与图标点选、九宫格，以及五子棋、躲避障碍、空间等类型，可按实际业务向平台确认支持方式。

企业接入这类API时，可以先完成图片提交、结果接收和异常处理的小规模联调，再逐步增加并发。接口方式能够减少自行训练、部署和维护多套模型的工作量，但具体题型支持、响应时间与识别效果仍应通过授权环境中的样本验收。把返回结果接稳、把失败分支处理清楚，业务流程才能持续运行。