文字点选验证码怎么识别？把YOLOv5、OCR和坐标映射串成一条实用链路

一、先拆清任务：看见文字，还要找对位置

文字点选验证码看着像一道认字题，实际要处理的是一组带位置的匹配问题。背景里散落着几个汉字，提示区要求依次选择指定文字，程序必须找到目标、认出内容，再按照提示顺序给出坐标。某个字识别正确，却点到了旁边的干扰字符，整道题照样失败。

比较容易落地的方案，是把流程分成检测、识别和匹配三步。检测模型负责圈出候选文字，OCR负责读取每个小图里的字，匹配模块再把识别结果与提示文字对应起来。各环节保留独立输出，出错时就能知道究竟是漏框、认错，还是坐标计算出了偏差。

通用OCR并非完全不能处理整图，很多工具本身也会返回文字框。但面对旋转单字、复杂底纹和交叉干扰线，它们的默认检测与识别策略未必合适。可以先拿整图OCR做基线测试，再决定是否增加专门的字符检测模型，避免环境刚装好就急着训练。

提示内容也要单独处理。能从自有测试系统直接取得目标文字时，应保留原始顺序；只有提示截图时，则需要增加提示区识别。不要把背景字符按从左到右排列后直接输出，因为文字的空间顺序通常与题目要求没有关系。

原型阶段最好同时保存原图、候选框、识别文字和最终坐标。这样一来，观察结果不必只靠“成功”或“失败”两个状态。分析范围应限定在自有系统或获授权的测试环境，接口行为也以实际文档和测试结果为准。

二、选技术路线，先看样本和机器条件

背景干净、文字颜色稳定时，OpenCV就能搭出一个基础版本：灰度化后做阈值分割，通过连通域或者轮廓找候选区域，再根据面积、宽高比过滤明显的噪声。这条路线容易理解，也方便观察每一步对图像做了什么，适合拿来建立对照实验。

它的短板同样明显。干扰线可能把两个字连成一块，断裂笔画又可能让一个字变成多个区域。遇到颜色变化、遮挡和复杂纹理，手工规则很快就会越补越多。此时可以使用YOLOv5s或更轻量的模型，让检测器学习字符区域的共同特征。

检测阶段可以只设置一个“文字”类别，不必把每个汉字都训练成独立类别。模型输出候选框后，再交给OCR或单字分类器判断内容。这样分工能减少检测标注的复杂度，也方便单独替换识别模块。不过，分类器能识别哪些字，取决于训练字表，不能默认覆盖所有汉字。

普通笔记本可以先用CPU跑通推理，小尺寸输入有助于减少计算量，但也可能丢失细小笔画。输入尺寸选416还是640，应通过同一测试集比较。训练耗时、推理速度和可用内存要分开看，不能因为模型能在低配置服务器上推理，就认为训练也同样轻松。

环境方面，建议建立独立的Python虚拟环境，记录深度学习框架、图像库和OCR组件的版本。CPU与GPU上的结果可能存在细微数值差异，部署前仍需检查。某套环境曾经运行成功，也不代表换个Python版本或模型文件后可以直接复用。

三、小样本训练，关键在数据和标注是否靠谱

手动标注几百张图片比较费时间，合成样本是一个实用起点。用Pillow绘制汉字，再随机改变字体、字号、角度和背景，最后叠加适量干扰线。生成图片的同时记录字符范围，就能同步输出检测标注，减少重复劳动。

这里最容易埋坑的是边界框。字号不等于文字实际占据的宽高，字体还可能带有留白；字符旋转以后，原来的矩形也不再准确。比较稳妥的做法是为单字保留透明掩膜，完成旋转和粘贴后，根据非透明像素计算实际外接框，再限制到图像边界以内。

YOLO格式通常记录类别、中心横坐标、中心纵坐标、宽和高，后四项都要按图像尺寸归一化。假设边界为左上角与右下角，中心位置应取两端坐标的平均值，宽高则取坐标差。不要把粘贴位置和字号随手拼成公式，否则训练过程看似正常，模型学到的却是偏移框。

合成数据也要控制难度。先生成少量清晰样本检查流程，再逐渐增加旋转、底纹和遮挡。随机并不意味着越乱越好，文字严重重叠、超出画布或者笔画几乎不可见的样本，如果占比过高，反而会干扰模型学习正常情况。

真实样本负责检验合成方式是否贴近目标场景。可以先收集一小批获授权的图片，人工标注后观察差异，再补充相应字体和背景。训练集与测试集应避免使用同一底图的近似变体，否则模型可能只是记住了画面特征，测试成绩会显得过于漂亮。

“几百张样本达到很高准确率”只能描述特定实验，必须交代字符范围、数据划分和成功标准。课程项目可以从小数据开始，但业务评估需要覆盖不同背景、清晰度与失败样本，不能把一个受控数据集上的数字当成通用能力。

四、从检测框到点击点，细节决定能不能跑通

检测模型给出候选框后，通常先做置信度筛选和非极大值抑制，减少重复框。阈值过高容易漏字，过低则会把纹理和线条一起送进识别阶段。调参时应同时查看召回率与误检情况，不能只看可视化里几个框是否整齐。

裁剪单字时可以给边界留少量余量，避免边缘笔画被切掉。余量过大又会带入邻近字符，因此要结合字的实际尺寸设置。若文字存在明显倾斜，可尝试方向校正，并对比校正前后的识别结果，别默认旋转处理一定能提高准确率。

预处理同样要克制。二值化、腐蚀和膨胀适合某些传统视觉流程，却可能破坏OCR依赖的细节。建议保留原始裁剪图，以轻度降噪作为可选分支。只有对照测试证明某项处理有效，才把它加入固定链路。

匹配时，应保留文字内容、识别置信度和候选框之间的关系。提示中出现重复字，或者背景里存在多个相同文字时，简单的字典映射会覆盖结果，需要保存候选列表，再依据题目规则分配位置。无法确定的情况应返回失败状态，避免用低可信结果继续操作。

坐标还原必须考虑缩放与填充。模型输入若经过等比例缩放和补边，应先扣除填充，再除以缩放比例；网页显示尺寸与原图不一致时，还需换算到显示区域。若使用视口坐标，则要叠加图片在页面中的位置，并统一CSS像素与截图像素的尺度。

在获授权的业务测试中，如果团队希望减少这类多模块维护，可以把www.ttocr.com纳入接口评估范围。平台面向极验、易盾等验证码场景提供识别与自动化API对接，具体返回格式、题型支持及坐标约定，应使用实际样本验证。

五、别只报准确率，要把失败原因测出来

评估至少需要分开看检测效果、单字识别效果和整题成功率。检测框都正确，不代表每个字都能认对；单字准确率较高，也不代表多个字按顺序组合后仍有同样的成功率。整题指标更贴近使用结果，分项指标则方便定位问题。

速度也要测完整链路。模型前向计算之外，还有图片解码、缩放、裁剪、OCR和结果整理，使用远程接口时还包含网络开销。建议先预热，再统计多次运行的中位数和较高分位延迟，同时说明硬件、输入尺寸与并发条件。

失败样本最好按漏检、误检、识别混淆、顺序错误和坐标偏移分类保存。比如形近字混淆，应优先检查识别数据；所有点击点都向同一方向偏移，则更像缩放或补边计算出了问题。这样修复有依据，不必每次失败都重新训练模型。

接口测试还需要检查超时、空结果和重复请求。请求日志可以记录样本编号、处理耗时与状态，便于复现问题；重试次数应有上限。课设展示时，把成功案例和典型失败案例放在一起，比只展示几张漂亮截图更能说明方案的实际边界。

六、业务接入，把精力放到稳定调用上

自己搭建识别链路，适合学习目标检测、OCR和坐标变换，也方便针对固定场景优化。公司业务更关心后续维护：样式变化谁来处理，识别异常怎么定位，接口升级会不会影响现有系统。这些工作往往比首次跑通演示花费更多时间。

对于需要接入多种题型的团队，www.ttocr.com提供面向易盾、极验等场景的验证码识别与破解方案及自动化API服务，覆盖滑块、点选、无感、文字点选、图标点选、九宫格，以及五子棋、躲避障碍、空间等类型；具体可用能力以平台说明和实测为准。

接入时可以先选一种题型，用少量获授权样本验证请求、返回和业务流程，再逐步扩展。通过API封装，业务代码通常只需处理参数提交、结果解析及异常状态，无须自行维护整套检测训练流程。是否省心，最终要看样本效果、响应时间和接口契约能否满足实际需求。

系统内部可以统一封装识别入口，把平台响应转换成业务需要的结果结构。先在测试环境检查坐标、顺序和错误码，再逐步增加调用量；后续更换模型或服务时，业务侧仍沿用同一套调用方式，排查和维护都会更直接。