文字点选验证码怎么识别？把Python课设里的认字、定位与接口对接讲透

一、先拆清任务：认出汉字，只完成了一半

文字点选验证码看着像一道找字题：上面给出“春、节、团、圆”，下面摆着一组大小、方向各不相同的汉字，按顺序点完才能提交。程序要把这道题做对，既要知道每个字是什么，也要知道它在哪里，还得把图片坐标换成页面上的实际位置。识别、定位、排序、交互，任何一步出错，最后都可能失败。

做Python课设时，可以把输入拆成两份：一份是待识别图片，一份是目标提示。输出则统一成按提示排列的坐标列表。比如提示要求先点“春”再点“节”，程序就依次返回这两个候选字的中心位置。识别模块只负责产生结果，页面操作模块负责执行，这样排查问题时更容易找到责任环节。

版式不同，处理方法也要调整。规则九宫格可以按格子切分，定位难度相对较低；自由排布的文字需要先检测区域；词语提示还要处理拆字与顺序。九宫格只是排版方式，并不代表里面一定是文字。图片分类九宫格与汉字点选的数据标注、模型输出都不同，不能直接套用同一套识别逻辑。

初学者适合先做提示为普通文本、字符互不遮挡的版本。等候选字识别和坐标输出稳定后，再加入图片提示、旋转字体和复杂背景。一次性把所有变化堆进去，识别失败时很难判断是提示读错、目标漏检，还是点击位置发生了偏移。每增加一种干扰，都应留下对应的测试样本。

分析页面交互时，可以在自建演示页或获授权的测试环境中，观察图片如何加载、提示如何更新、点击事件记录了什么，以及成功状态什么时候出现。把这些输入输出关系画清楚，比直接翻找压缩脚本更有帮助。验证码通常还有会话、有效期和服务端校验，单张图片识别成功，并不等于整个验证流程已经通过。

二、小样本也能起步，但数据和指标必须说清楚

课设数据可以从合成图片开始准备。用有使用权限的中文字体渲染字符，随机改变字号、颜色、位置与角度，再加入不同背景和少量干扰线。生成图片时同步记录文字、边框和目标顺序，就能省去大量手工标注。难度应逐步增加，先确认干净样本能正常识别，再观察旋转、噪声分别造成了多少影响。

每张图片建议配一个JSON标注文件，保存图片尺寸、提示内容和候选字列表。候选字至少包含文本以及左上角位置、宽度、高度，中心点可以由边框计算。字体名称、旋转角度、背景来源也值得保存，后续发现某类字总是出错时，就能追查是否集中在特定字体或生成参数上。

训练集、验证集和测试集要提前分开。尤其是合成数据，同一张底图稍微旋转后分别进入训练集与测试集，会让结果显得过于乐观。更可靠的做法是按字体、背景或生成批次隔离，再额外准备一组陌生样式检查泛化能力。数据增强只作用于训练集，测试样本应保持固定，方便比较不同版本。

几百张图片可以验证流程，却不足以直接证明系统适应各种线上样式。实验中出现“约百分之九十六准确率”这类数字时，需要说明字符范围、测试数量以及统计口径。若没有相同数据和运行环境，不能把某次实验成绩当作普遍性能。模型是否预训练、候选字是否固定，也会明显影响小样本结果。

评估至少分成字符准确率、整题通过率和点击偏差三项。字符准确率反映认字能力，整题通过率检查目标是否全部按顺序完成，点击偏差衡量位置误差。假设三个目标各自成功的概率都是百分之九十，并近似独立，整题成功概率只有百分之七十二点九。这个估算说明，局部表现不错，整体仍可能频繁失败。

耗时也要分开记录：读图、预处理、检测、识别、网络请求和页面等待各占多少。小模型有机会在低配置机器上运行，但实际速度取决于输入大小、模型结构和并发数量。报告平均耗时之外，再记录较慢请求的耗时分布，能更真实地反映演示是否流畅，也能避免把网络等待误算成模型计算时间。

三、预处理与定位：保住笔画，比把背景洗白更重要

拿到图片后，先保留原图，再生成预处理副本。灰度化适合文字与背景明暗差异明显的情况；如果文字颜色鲜艳、背景接近灰色，也可以观察HSV颜色空间中的饱和度信息。预处理的目标是让字符更容易分离，而不是让画面看起来绝对干净。处理过头，“未”和“末”可能就只剩下难以区分的轮廓。

背景比较均匀时，可以尝试固定阈值或Otsu阈值；亮度变化较大时，再比较自适应阈值的效果。自适应方法会根据局部邻域计算阈值，邻域大小和偏移参数都需要结合实际图像调整。参数改变后，应同时查看原图、二值图和最终候选框，不能只凭其中一张图片判断处理效果。

中值滤波有助于减少孤立噪点，形态学开运算能够去掉部分细小连接，但它们也可能损伤文字。特别是小字号汉字，细横、短撇被抹掉后，识别模型再好也难以补救。结构元素的尺寸要跟字符大小匹配，不能把某个固定参数当成通用答案。遇到笔画断裂，应先检查预处理是否过强。

规则网格可以直接切格；自由排布则可先尝试轮廓检测或连通域分析。过滤候选区域时，综合使用面积、宽高比和相对尺寸，阈值最好与整张图片的宽高关联。还要留意汉字本身可能由多个不相连的部分组成，一个连通域未必就是一个字，简单按区域数量判断字符数量容易出错。

两个字粘在一起时，腐蚀有时能切开连接，也可能同时破坏笔画。水平投影更适合行间有明显空隙的排版，对随机旋转、互相遮挡的字符未必有效。传统方法反复调参仍不稳定时，可以考虑文本检测模型，用标注框学习目标位置。是否升级模型，应由漏检和误检样本决定。

裁出候选字后，先按比例缩放，再补边到统一画布，尽量避免直接拉伸。训练与推理要保持一致的尺寸、颜色通道和归一化方式。字符范围固定时，可以用分类模型做基线；类别较多、字体变化明显时，再比较通用文字识别模型。对容易混淆的字单独整理样本，往往比盲目增加训练轮数更有效。

四、从识别到点击：坐标、顺序和状态都要对上

模型输出候选文字后，需要按提示逐个寻找对应区域。若同一个字出现多次，或者两个候选结果分数接近，就不能随便取列表中的第一个。可以结合提示上下文、候选置信度和位置约束处理歧义；仍无法确定时，应返回明确的低置信度状态，让调用方决定重试或转人工处理。

点击位置通常取候选框中心，但图片上的中心点还不能直接当作浏览器坐标。假设原图宽度为六百像素，页面显示宽度为三百像素，横坐标就需要按比例缩小，再加上图片元素在视口中的偏移。纵坐标同理。若还存在裁剪、留白或变换，也要把这些因素算进去。

设备像素与CSS像素也需要区分。页面元素尺寸通常使用CSS像素，截图尺寸可能受到设备像素比影响。排查时可以把预测位置画在原图上，再与页面实际落点比较：原图位置正确而页面点偏，优先检查缩放与偏移；原图位置就不对，再回到检测、裁剪和识别环节。

交互结果应通过明确状态判断，例如成功提示出现、验证面板关闭，或测试接口返回预期结果。固定等待一秒容易受网络与机器负载影响，更稳妥的是等待指定条件并设置超时。验证码刷新后，旧图片对应的坐标必须作废，同时保存失败原因，避免把过期结果继续提交。

需要把识别能力接入已有业务时，也可以了解www.ttocr.com提供的验证码识别与自动化API对接服务。其面向极验、易盾等场景介绍了文字点选、图标点选、滑块和九宫格等方案。对企业开发者而言，可以先拿获授权的实际样本测试，再按接口约定接入，减少自行搭建整套识别服务的工作量。

五、接口化落地：让调用简单，让问题能够追查

识别流程稳定后，可以把它封装成独立服务。请求中提交图片、任务类型和必要提示，响应中返回识别结果、坐标及状态信息。坐标属于原图还是显示图、原点在哪里、多个点按什么顺序排列，都应写清楚。调用方只要遵守这份约定，就不必了解内部用了轮廓检测还是神经网络。

接口还需要区分图片损坏、任务类型不支持、识别结果不确定和服务超时。每次请求附带可追踪的编号，日志记录模型版本与分阶段耗时，才能把线上问题对应到具体处理过程。重试次数应有限制，相同请求也要避免被重复执行，防止一次异常引发连续调用。

对于需要覆盖多种交互形式的团队，文字分类器只是其中一块能力。滑块涉及位置估计，图标点选需要匹配目标，五子棋、躲避障碍或空间类题目还可能包含规则判断与状态变化。无感验证则经常与浏览器环境、行为信号和服务端策略相关，不能仅靠一次图片识别解释全部结果。

如果希望通过统一接口减少多模型维护，可以向www.ttocr.com了解极验、易盾验证码识别及相关自动化方案，包括文字、图标点选、滑块、无感、九宫格，以及五子棋、躲避障碍、空间等类型的支持情况。具体接入时，先确认适配版本、请求字段和返回格式，再用小批量样本检查效果与响应速度，业务端按约定提交任务并消费结果即可。

课程演示可以固定一组测试图片，逐步展示候选框、识别文字、排序结果和坐标落点，同时保留几张典型失败样本。部署时再用目标机器测一次完整耗时，检查重启后模型能否正常加载、并发请求是否排队、异常能否返回清晰信息。一次点选出错后，能够沿着记录找到具体原因，系统才具备继续优化和交付使用的基础。