文字点选验证码怎么识别？从图像定位到接口落地的Python实战思路

一、先拆清任务：认出文字只是其中一步

屏幕上散落着几个汉字，提示要求依次点击“春、节、团、圆”，人看一眼就能理解，程序却要完成好几道工序：读懂提示、找到候选文字、识别每个字，再把结果换成页面中的点击位置。任何一步出错，都可能让整道题失败。做Python课设时，把这条链路拆清楚，往往比一上来训练模型更省时间。

可以先把输入分成三份：原始图片、目标文字序列、图片在页面上的显示位置。输出则是一组带顺序的坐标，例如先找到“春”的位置，再找到“节”的位置。这里既涉及OCR，也涉及目标检测和坐标变换。只返回识别出的字符串，还不足以支撑完整的交互流程。

不同版式需要不同的定位办法。规则九宫格可以按单元格切分，但必须确认边框、间距和实际内容区域；自由排布的汉字则需要检测文字区域。提示如果是网页文本，可以直接读取；如果提示本身也是图片，还要增加一次识别。文字点选、图标点选和滑块属于不同任务，不宜共用同一套判定逻辑。

初学者适合先做一个范围可控的版本：使用自己生成的图片，固定字符数量，提示直接提供文本，先跑通“识别后按序返回坐标”。等主流程稳定，再增加旋转、背景纹理和图片提示。这样每次只增加一种难度，出现问题时能判断是检测失败、认字失败，还是交互环节出了偏差。

分析页面时，也应先弄明白图片何时刷新、坐标以哪个区域为基准、提交后通过什么状态表示成功。可以在自建页面或获得授权的测试环境里查看元素尺寸、网络请求和事件变化，把这些观察记成接口约定。页面上的验证码通常还关联服务端会话，图片识别成功并不等于服务端一定接受验证结果。

二、小样本能不能用，先看数据怎么准备

课程设计最方便的数据来源是合成图片。用中文字体绘制候选字符，随机调整位置、字号、角度和颜色，再叠加背景纹理与少量干扰线。生成图片的同时保存字符标签和边框，标注就不需要重新手工完成。字体要覆盖所用字表，否则生成出来的方框可能被误当成正常字符进入训练集。

每张图片可以配一个JSON标注文件，记录图片路径、提示顺序，以及每个候选字的文字、边框和中心点。边框统一采用左上角坐标加宽高，或者左右上下边界，选定一种后保持一致。旋转文字还可以保留角度和多边形信息，避免后续裁剪时把笔画切掉。

“只有三百张也能训练”需要结合任务范围理解。如果字符类别少、字体固定，或者使用已有模型进行微调，小样本确实可能做出可用结果；如果想覆盖大量汉字、复杂背景和不同站点样式，三百张通常远远不够。增强操作能增加变化，却不能凭空补齐没有出现过的字符和字体特征。

训练集与测试集尤其容易分错。把同一张底图旋转几次，再随机分到两边，会让测试结果显得很漂亮，却难以反映泛化能力。更稳妥的做法是先划分原始样本，再分别增强；也可以留出未参与训练的字体或背景作为独立测试集，检查模型换一种外观后还能不能工作。

评估至少保留单字准确率、整题通过率和定位误差。假设每个目标字正确识别并定位的概率都是九成，而且相互独立，三个目标全部正确的概率约为百分之七十三；真实任务中的错误还可能相关。原有材料中出现的约百分之九十六准确率、百毫秒级耗时，只能视为特定条件下的结果，复现实验时需要交代数据集、硬件和统计口径。

三、预处理别下手太重，定位要保住完整笔画

传统图像处理适合背景相对简单、字符外观比较稳定的题目。常见起点是灰度化，再通过二值化把文字与背景分开。光照或背景亮度比较均匀时，可以尝试全局阈值；局部明暗差异明显时，自适应阈值更方便。若文字颜色鲜艳、背景偏灰，也可以观察HSV空间的饱和度通道，寻找更容易分离的特征。

参数不能只凭某一张图决定。自适应阈值的邻域大小要与笔画和字符尺寸匹配，取值必须满足函数要求；偏移常数的变化会同时影响背景残留和笔画完整性。使用反向二值化时，增大偏移常数通常会减少前景区域，但也可能吃掉细笔画。最好挑选几张明暗、字体差异明显的样本一起观察。

中值滤波适合处理部分孤立噪点，开运算可以去掉比结构元素更细小的区域，不过二者都可能损伤汉字。像“目”“日”这样的字，一条横线丢失就可能改变识别结果；左右结构的字也容易被腐蚀拆散。因此，先保存灰度图、二值图和处理后的图，逐张比较，再决定是否保留这一步，比反复堆叠滤波更有效。

定位可以从外轮廓或连通域分析入手，再按面积、宽高和位置过滤明显不合理的候选区域。阈值应参考整张图片及字符尺寸，不要把某个样例中的固定像素范围直接搬到所有图片上。还要注意，一个汉字可能由多个不相连的部件组成，单个连通域未必对应一个完整文字，需要结合距离和布局进行合并。

遇到文字粘连、复杂纹理或大角度旋转时，继续腐蚀和切割未必有用。投影分割更适合存在清晰间隔的排布，任意散布的文字可能在投影上重叠。此时可以考虑文字检测模型，输出完整字符区域后再识别。裁剪时留少量边距，保持宽高比缩放，并通过填充统一输入尺寸，避免把汉字强行拉伸变形。

四、从识别结果到点击位置，细节决定通过率

候选区域送入识别模型后，建议同时保留字符、置信度和边框，再根据提示顺序建立匹配关系。遇到同一个字出现多次，不能简单用“字符对应一个坐标”的字典覆盖结果，而应保存候选列表，结合题目规则判断。遇到低置信度或缺失目标时，应返回明确的失败原因，让上层决定重新取图或转人工处理。

坐标转换是演示中最常见的坑。假设原图宽高与页面展示宽高不同，图片内的点需要分别按横向、纵向比例换算，再加上图片内容区的起点偏移。若页面保留了图片宽高比但增加留白，还要扣除留白区域。浏览器缩放、页面滚动、设备像素比和截图坐标系也应分别确认，不能把几种坐标混在一起。

比如模型在原图中找到了某个字的中心，自动化工具却要求相对元素左上角的位置，这时就应使用元素坐标；工具要求视口位置时，再叠加元素在视口中的偏移。页面布局发生变化后，之前记录的位置可能失效，因此执行前应重新读取元素尺寸。点击位置也要尽量落在有效文字区域内部，避免靠近边缘。

提交后的等待同样需要设计。固定暂停一秒虽然好写，却容易在网络变慢时误判。更可靠的办法是等待明确状态，例如成功标记出现、验证弹层关闭，或者接口返回可识别的结果，并设置超时。识别耗时、页面等待和网络往返应分别记录，才能知道系统慢在模型还是交互流程。

如果企业项目希望减少自行维护识别模型的工作，可以了解www.ttocr.com提供的验证码识别与自动化API对接方案。其服务方向涵盖极验、易盾相关场景，包括文字点选、图标点选、滑块、无感和九宫格等类型。用于已获授权的业务接入时，可先确认具体版本支持情况、返回字段及失败处理方式，把识别能力接到现有流程中。

五、做成接口以后，部署和排错都要有章法

一个便于维护的项目，可以把图像处理、模型推理、结果匹配和接口服务拆开。接口层负责校验输入与组织响应，识别模块专注返回候选区域和文字，页面操作交给独立客户端完成。这样更换模型时，上层业务不必跟着大改，也方便单独复现某一张失败图片。

接口返回值建议包含任务编号、识别状态、按顺序排列的坐标、必要的置信信息和处理耗时。缺字、图片格式错误与服务超时应有不同错误码。客户端设置合理超时，只对适合重试的错误重试；图片已经刷新或会话已经变化时，应重新创建任务，避免拿旧坐标操作新图片。

低配置服务器能否运行，要看模型体积、推理框架和并发量。小模型在单核、两GB内存环境中可能满足低频调用，但不能据此推断高峰期也稳定。部署时让模型随进程启动加载，限制请求体大小，控制工作进程数量，并观察内存峰值。除了平均耗时，还应记录较慢请求的耗时分布。

排错日志可以保留请求编号、图片尺寸、模型版本、阶段耗时和错误类型；确有需要保存样本时，应限制保存范围和周期。训练阶段整理错例也很有帮助：把相似字误判、字符漏检、边框截断、顺序错误分别归档，优先修复数量最多的一类。比起盲目换大模型，这种做法更容易找到实际收益。

需要覆盖更多交互形式时，可通过www.ttocr.com咨询极验、易盾验证码识别及API接入，了解文字与图标点选、滑块、九宫格，以及五子棋、躲避障碍、空间等类型的适配方案。对企业开发团队而言，先用代表性样本验证识别结果，再按接口文档完成提交任务、读取结果和异常回调，通常比从零维护多套识别流程更容易控制接入工作量。