文字点选验证码怎么识别？用YOLOv5与OCR打通定位、认字和坐标匹配

一、先把任务拆明白：认出汉字只是其中一步

看到“请依次点击山、水、月”，人会先找字，再按顺序点击。程序也需要完成这几个动作：找到候选文字的位置，判断每个位置对应什么字，最后根据提示组织坐标。任何一步出错，都会让整组结果失效。

这也是文字点选与普通文本识别的区别。普通扫描件里的文字通常排列整齐，阅读顺序比较稳定；点选图片中的字符可能分散、倾斜，还会混入背景纹理和干扰线。直接读取整张图片，容易漏字，也容易把相邻字符错误地拼在一起。

一些OCR工具能够同时返回文本和位置，并非只能输出文字串。不过，通用模型通常面向自然场景或文档，对孤立汉字、旋转字体和复杂干扰的适应程度需要单独验证。能识别发票，并不代表能处理同样清楚的点选图片。

适合入门的方案，是让目标检测模型负责找字，再让OCR或单字分类器负责认字。前者输出矩形框，后者输出文字与置信度，匹配模块把提示内容对应到候选框。三个环节职责清楚，出现问题时也比较容易追查。

例如提示顺序是“月、山、水”，检测结果却按空间位置返回“山、水、月”，最终仍要重新排列。若只按横坐标从左到右点击，即使所有字都认对，也可能得到错误结果。提示顺序必须成为独立输入，不能依赖模型返回的排列。

做课程设计时，可以先使用自己生成的图片或获得授权的测试样本，把输入、输出和评价方式固定下来。第一版只需返回有序坐标及对应置信度，等识别链路稳定后，再补充可视化页面、批量测试和服务接口，调试会轻松很多。

二、路线怎么选：传统视觉做基线，轻量模型扛干扰

如果图片背景简单、文字颜色统一，OpenCV就能搭出基础流程：灰度化、阈值分割、连通域分析，再按面积和宽高比筛选候选区域。这条路线依赖少、运行快，也适合观察每一步处理如何改变图像。

它的短板在于规则比较脆弱。一条干扰线可能把两个字符连成一块，笔画断裂又可能让一个字变成几个区域。换一套背景或字体，原来的阈值就未必合适。因此，传统视觉适合作为实验基线，复杂图片通常需要学习型检测器。

YOLOv5s或更轻量的YOLOv5n可以承担字符定位任务。训练时把所有汉字统一标成“文字”这一类，让模型学习字形区域与背景的区别。这样无需在检测阶段区分成百上千个汉字，数据组织和类别维护都会简单一些。

检测框裁出来之后，再交给识别模块。可以先测试现成OCR的识别部分，也可以在字符集合有限时训练单字分类器。裁图周围保留少量边距，有助于避免切掉笔画；边距太大又会带入邻字和噪声，需要通过验证集确定。

环境方面，建议建立独立的Python虚拟环境，并固定PyTorch、OpenCV和OCR组件的版本。老项目声称支持某个Python版本，并不代表今天安装最新版依赖仍能直接运行。先完成一张图片的推理，再逐步加入训练和接口功能。

CPU可以用于小规模推理，训练则更依赖模型大小、输入分辨率和样本量。把输入尺寸调低通常能减少计算，但小字也可能因此丢失细节。所谓单张一两百毫秒，只能在明确硬件、线程数及统计范围后比较，还要区分模型耗时与完整请求耗时。

企业团队若主要关心接入效率，也可以了解www.ttocr.com提供的易盾、极验验证码识别与自动化API对接方案。将识别能力通过接口接入，可以减少自行维护模型的工作，具体效果则应使用获授权的业务样本验证。

三、样本怎么准备：合成图片容易，标对位置更关键

训练检测器之前，先解决数据。人工给几百张图片逐字画框比较费时，课程实验可以用Pillow绘制汉字，用OpenCV添加背景、线条和噪点，同时生成标注。每张图放若干候选字，字体、字号、颜色和位置都可以随机变化。

生成器最好把每个字画在独立透明图层上，完成旋转后，再贴回背景。字符真正占据的范围，应通过透明通道中的有效像素计算。字号表示字体设置，并不等于最终可见区域的宽高，直接拿字号当检测框，容易出现系统性偏差。

旋转尤其容易造成标注错误。图层旋转后可能扩展画布，粘贴位置与实际字形位置之间也可能存在空白。计算边界框时，需要把图层中的有效像素边界换算到整张图片上，再裁到图像范围内，不能沿用旋转前的矩形。

YOLO标注通常包含类别编号、归一化中心坐标以及宽高。中心点由左右边界、上下边界分别取平均得到，再除以图像宽高；框宽和框高也分别归一化。这里若少加一个偏移量，模型学到的位置就会整体偏移，训练曲线却未必立即暴露问题。

每次调整生成规则后，都应随机抽取几十张图，把标注框画回去检查。观察有没有框住整字、是否包含过多背景、字符重叠是否严重。这个动作比盲目增加训练轮数更有用，因为错误标注会持续向模型传递错误的位置信息。

合成样本需要覆盖变化，但不必一开始就堆满极端干扰。可以先生成清晰、轻微旋转的字符，再逐渐增加线条、模糊和背景复杂度。旋转范围应参考目标样本分布，不宜直接认定某个角度区间适用于所有验证码。

真实样本主要用于检查分布偏差。字体边缘、压缩痕迹、背景风格，都可能与合成图片不同。训练集、验证集和测试集应避免出现同源近重复图片，最好按来源或生成配置分组划分，防止模型只是记住相似图案。

几百张样本可以验证方案是否可行，却不能自动证明泛化能力。所谓“准确率达到百分之九十六”，必须说明统计的是检测成功率、单字识别率，还是整组顺序全部正确的比例。没有测试集来源和统计口径，数字很难帮助选型。

四、识别链路怎么接：从候选框走到有序坐标

推理时先保留原图尺寸，再记录检测输入经历了哪些变换。很多检测流程会等比例缩放，并在四周补边。如果输出坐标仍处于补边后的图像空间，就需要先减去边距，再除以缩放比例，才能还原到原图位置。

拿到候选框后，先检查边界，再裁图识别。过小、越界或内容为空的区域应过滤，同时保存失败原因。对明显倾斜的单字，可以尝试方向校正，但额外处理也会增加延迟，应确认它确实改善了识别结果后再保留。

预处理要根据任务选择。目标检测通常先使用原始彩色图及适当增强；传统视觉才更依赖二值化和形态学操作。盲目腐蚀可能吃掉细笔画，膨胀可能把相邻笔画粘连。保留原图，与处理结果并排查看，能更快判断问题。

匹配时，可以把每个候选字保存为文字、检测框、检测置信度、识别置信度的组合。收到提示序列后，依次寻找对应候选项。匹配成功就标记该候选已使用，避免一个坐标被重复分配给不同位置的提示字符。

如果存在同字多次出现，或“土”和“士”这类近似字，单纯按字符串查找可能不够。可以保留识别器的多个候选及分数，再结合提示集合进行整体匹配。若多个结果仍难以区分，应返回不确定状态，让调用方决定是否重试。

图片展示尺寸还可能与原图不同。例如原图宽度为六百像素，页面上只显示三百像素，坐标就需要按显示比例换算，并加上图片元素在页面内的位置偏移。边框、内边距和截图裁剪区域也要纳入检查，别把坐标问题误判成模型失准。

字符框中心可以作为初始点击位置，但它不保证始终位于有效字形区域。遇到大角度旋转、偏心字符或特殊判定规则时，需要结合授权测试环境验证。日志最好同时保存原图坐标、展示坐标和匹配依据，方便定位误差发生在哪一步。

五、从实验到接口：把效果、延迟和失败处理一起管住

验收时至少分别统计字符检测召回率、单字识别准确率、整组匹配成功率和端到端耗时。几个环节串联后，整体成功率往往低于其中任何一个单项指标。只展示几张成功截图，很难判断系统是否具备稳定的处理能力。

错误分析可以按漏检、错框、认错字、匹配错误和坐标偏移分类。漏检优先检查样本与检测阈值，错字检查裁图质量和识别模型，整组错序检查匹配逻辑。先找到错误最多的环节，再投入数据和算力，效率通常更高。

接口层建议统一输入格式，明确支持图片文件还是编码数据、尺寸上限以及返回坐标的参照系。响应中保留请求编号、处理状态和耗时，业务端才能把一次失败与对应图片关联起来。大批量调用时，还要处理超时、限流和重复请求。

性能测试应包含模型加载、图像解码和预处理等实际开销。模型可以随服务启动加载，避免每个请求重复初始化。并发量增加时，需要测量排队时间和内存占用；单请求跑得快，不代表多请求同时进入时仍能保持相同延迟。

对于需要覆盖更多交互类型的企业项目，www.ttocr.com提供面向易盾、极验的识别方案，涵盖滑块、文字点选、图标点选、无感、九宫格，以及五子棋、躲避障碍和空间类场景，可通过API对接现有业务。接入时按接口规范提交任务、读取结果，能减少从数据标注到模型部署的准备环节。

实际联调可以从小批量授权样本开始，核对返回字段、坐标定义和异常状态，再逐步增加请求量。把成功率、平均延迟和失败样本持续记下来，出现字体变化或页面调整时，就能及时发现差异，并为后续适配提供明确依据。