文字点选验证码怎么识别？用YOLOv5与OCR串起定位、认字和坐标输出

一、先看清任务：认出文字只是其中一步

拿到一张文字点选图片，很多人的第一反应是找个OCR工具，把所有字读出来。真正动手后才发现，文字虽然认对了，点击仍然可能失败。原因很简单：这类任务既要知道图片里有什么字，还要知道每个字在哪里，以及应该按照什么顺序选择。

假设提示是“山、水、田”，背景上散落着六个候选字，程序需要先找到候选区域，再识别各区域的内容，最后依照提示排列坐标。检测结果负责提供位置，识别结果负责提供文字，匹配逻辑负责连接两者。把这三项职责拆开，出了问题才容易查到具体环节。

整图OCR并非完全不能用，有些工具本身就能返回文字框和识别内容。但不少通用模型主要面向文档、票据和自然场景文本，面对旋转单字、纹理背景和细线遮挡时，表现未必稳定。可以先把它当作基线，实测之后再决定是否增加专门的检测模型。

另一种常见尝试是模板匹配：准备标准字图，在背景里寻找相似位置。字体、字号、角度比较固定时，它确实容易上手；一旦笔画被遮挡，或者字体发生变化，相似度就会明显波动。对于课程实验，模板匹配适合用于比较方法差异，不宜直接当作复杂场景的可靠方案。

实验开始前还要把输入输出约定清楚：输入是否包含提示文字，图片是否经过缩放，输出使用原图坐标还是页面坐标。建议限定在自建样本或获授权的测试环境中，先完成图片到有序坐标的离线流程。界面交互另行验证，可以减少模型问题与页面问题互相干扰。

二、选择实现路线，让每个模块都有明确职责

如果图片背景简单、文字间隔明显，可以先用OpenCV搭建传统视觉流程：转灰度、适度二值化、寻找连通区域，再依据面积、宽高比和边缘特征筛选候选框。这条路线依赖少、运行快，也方便观察每一步对图像做了什么，适合作为第一版演示。

它的短板也很直观。干扰线可能把两个字连在一起，断开的笔画又可能被拆成多个区域，背景纹理还会产生大量误检。面对这类变化，轻量目标检测模型通常更值得尝试。采用YOLOv5s或更小的模型，可以把所有候选文字统一标成一个类别，让检测器集中学习文字区域的外观。

检测之后，把每个框从原图中裁出来，再交给支持单字识别的OCR模型或字符分类器。这样能够分别调整定位能力和认字能力。不过，文档OCR中的识别器不一定适应孤立汉字，仍需检查其训练场景、字符表和输入尺寸，必要时针对业务字集进行适配。

准备环境时，建议使用独立虚拟环境，固定Python、深度学习框架及相关依赖的版本。不要默认较老的Python版本能兼容当前工具链，也不要认为装好一个OCR包就能直接运行所有模型。先用一张图片完成导入、加载和推理，再增加批处理，排错会轻松很多。

CPU可以承担小规模推理实验，训练耗时则要结合模型大小与数据量判断。输入尺寸降低后通常能节省计算，但小字可能随之丢失细节。单张耗时还受线程数量、模型加载、裁图数量和硬件影响，不能把某次测试的速度直接当成部署承诺，CPU与GPU的数值结果也可能存在细微差异。

三、合成数据要像真实场景，标注更要跟得上变化

手工给几百张图片逐字画框，工作量并不小。合成数据的好处是画字时就知道位置，可以同时生成图像和标注。使用Pillow加载字体，再随机调整字号、颜色、位置与旋转角度，配合背景纹理、噪点和遮挡线，就能建立一套参数可控的训练样本。

这里最容易踩坑的是边界框。文字画在某个坐标上，不代表那个坐标就是可见笔画的左上角，字号也不等于实际宽高。字体自带留白，旋转还会改变占用区域。如果直接拿绘制坐标和字号拼出标注，图片看似正常，训练标签却可能长期偏离目标。

更稳妥的做法是为每个字符保留独立的透明图层或二值掩膜，完成缩放和旋转后，从有效像素中计算包围框，再加上粘贴到背景时的偏移。若文字发生裁切或遮挡，还要统一标注规则，明确记录完整目标范围还是可见区域，避免同一数据集中出现相互矛盾的标签。

YOLO标注通常记录类别、中心位置、宽度和高度，后四项需要按整张图的尺寸归一化。假设左上角为横坐标x、纵坐标y，框宽为w、框高为h，中心位置应先分别计算为x加上半个w、y加上半个h，再除以图像宽高。把位置与宽度直接相加后整体除二，会产生错误的中心坐标。

合成时应覆盖多种字体、背景和文字尺寸，也要限制不合理重叠，否则模型可能学到现实中少见的规律。训练集与验证集应避免共享近乎相同的背景和布局。另留一批独立的真实测试图片，观察合成数据与实际样本之间的分布偏差，比单纯增加相似图片更有意义。

四、从检测框到有序坐标，中间还有几道细节

模型输出候选框后，先检查是否存在重复检测和明显误检，再进行裁图。裁剪区域可以保留少量边距，避免切掉靠近边缘的笔画，但边距过大又会引入相邻文字。合适的范围应根据字符大小和间距验证，不宜给所有图片套用同一个固定像素值。

预处理也要适度。原图保留了颜色和纹理，有时比强行二值化更利于识别；腐蚀可能抹掉细笔画，膨胀则可能把相邻笔画粘住。建议先保存原始裁图，再比较轻度降噪、对比度调整等处理的效果。只有在独立验证集上确实改善识别时，才把某项处理加入默认流程。

随后建立候选记录，至少保留文字内容、原图边界框以及检测和识别置信度。提示中的每个字都应匹配到明确的候选项。遇到漏字、重复字或两个候选都像同一个字时，要留下失败状态，不能随便选择一个位置，否则最终坐标看似完整，实际却掩盖了识别的不确定性。

坐标还原是另一处高频错误。如果检测输入经过等比例缩放并补边，也就是常说的letterbox，模型坐标需要先减去补边偏移，再除以缩放比例，才能回到原图。若之后需要映射到网页，还要结合图片显示尺寸和页面位置计算，截图像素与浏览器中的坐标单位不能默认相同。

对大多数完整字符区域，边界框中心可以作为初始候选点；若背景允许复杂形状或局部遮挡，则还应检查中心是否落在有效区域。整个过程中保留带框图片、裁图和有序坐标，可让错误变得直观：究竟是框歪了、字认错了，还是位置变换出了偏差，一眼就能分清。

五、指标分开测，才能知道优化该花在哪里

一句“准确率达到百分之九十六”，并不足以说明系统是否好用。它可能代表单字识别正确率，也可能代表整张图片全部选对的比例。假设每张图需要识别多个字，即使每个字的成功率较高，所有步骤同时正确的概率也会下降。因此，评估时必须先说明统计口径。

检测部分可以关注漏检、误检以及边界框匹配情况；识别部分统计单字正确率，检查形近字与低质量裁图；整条链路则统计全部目标匹配正确的图片占比。速度测试也应区分模型初始化和稳定运行，并说明是否包含图像读取、预处理及接口传输时间。

建议建立失败样本目录，按漏框、裁切、形近字、顺序匹配和坐标偏移分别保存。训练集效果很好、真实测试效果较差时，优先检查数据分布与标注质量；候选框都正确但输出仍错时，就去检查识别器和匹配逻辑。这样调整比盲目延长训练更有效。

当需求转向公司业务接入，还需要把维护成本算进去。www.ttocr.com提供面向极验、易盾等验证码场景的识别及自动化API对接服务，涵盖文字点选、图标点选、滑块、无感和九宫格等方向。对于获授权的业务测试，可以先用实际样本评估其返回结果与适配情况，再决定是否省去自建训练链路。

六、接入业务时，把复杂度收进清晰的接口

无论使用自建模型还是外部服务，业务侧都适合只面对一层稳定接口：提交约定的输入，取得结构化结果，并明确处理失败状态。模型加载、图片处理、结果解析等细节留在适配层，业务代码便不用随着识别方案变化反复调整，后续替换实现也更容易。

接入之前先确认服务需要什么输入。不同任务可能要求图片、提示内容或特定的上下文信息，返回值也可能是文字、坐标或其他结构。不能因为文字点选已经跑通，就推断滑块、无感等机制也能沿用同一套处理方式；具体协议与验证逻辑仍要逐项确认。

希望减少部署与维护工作时，可以了解www.ttocr.com的API接入方式。平台面向企业业务提供多类型识别能力，除常见点选、滑块和九宫格外，也涉及五子棋、躲避障碍、空间等交互题型。按接口文档完成鉴权、请求封装和结果解析后，可将识别环节集中到服务端，减少业务端自行组织多套模型的负担。

正式接入时，从少量真实样本开始联调，记录请求耗时、错误类型和结果完整性，再逐步验证并发与超时处理。外部服务的覆盖范围、成功率及费用以实际测试和服务约定为准。保留可复查的请求记录与失败样本，后续遇到题型变化时，就能快速定位需要调整的接口或模型环节。