文字点选验证码怎么识别？从找字定位到Python接口对接

一、认得出汉字，还得找准位置

文字点选验证码看起来像一道找字题：上方给出“请依次点击春、节”，下方图片里散落着若干汉字。人眼扫一遍就能找到，程序却要拆成几个步骤：读取题目、找出候选文字、识别字符、匹配顺序，再把图片坐标换成页面位置。任何一步出错，最后都可能点错。

这里需要分清三个对象：提示告诉程序找什么，候选区域告诉程序字在哪里，页面位置决定鼠标落在哪里。提示有时是网页文本，有时也被画进图片。做Python课设时，可以先用文本提示和自己生成的图片，把识别与定位跑通，再增加提示图片识别，调试起来更容易发现问题。

不同版式适合不同处理方法。规则九宫格可以按照行列划分区域；随机散落的汉字需要检测文字框；词语点选还要把提示拆成有顺序的字符。遇到重复字时，同一个字符可能对应多个候选位置，需要结合题目规则处理，不能简单建立一个“汉字对应一个坐标”的字典。

一次识别的输出最好同时保留字符、边框、中心点和置信度。比如识别出“春”，还应知道它位于哪块区域、模型有多确定。后续出现误点时，就能判断是认错了字、框住了背景，还是坐标换算有偏差。只输出最终点击位置，会把这些线索全部丢掉。

课设验证适合放在自建页面、合成图片或获得授权的测试环境中。先固定图片尺寸、候选数量和提示格式，让流程有明确边界。等基础实验稳定，再增加旋转、噪声和字体变化，才能知道每次性能下降究竟由什么引起。

二、样本怎么准备，成绩才有说服力

小样本实验可以从合成图片开始。准备几种中文字体，把指定字符绘制到背景上，再随机改变字号、位置、颜色和旋转角度。由于生成时已经知道字符内容和位置，标注可以同步保存。相比逐张手工画框，这种方式更适合课程实验，也方便反复复现同一批测试题。

每张图片建议配一份JSON标注，记录图片路径、提示顺序和候选列表。候选项保存字符、边框以及中心点，并明确边框使用左上角坐标加宽高，还是两个角点。两套格式都常见，混用却会让裁剪区域完全错位。字体、随机种子和旋转角也可以一起保存，便于重现难例。

划分训练集和测试集时，需要防止相似图片泄漏。只改变一点背景噪声的两张图，如果分别进入训练和测试，成绩往往偏乐观。更实用的办法是按字体、背景模板或生成批次分组，另外留出未参与调参的样本，检查模型面对新样式时是否仍然可靠。

准确率要分层统计。单字准确率衡量字符识别，候选检测召回率反映有没有漏掉文字，整题通过率则检查所有目标是否按顺序正确命中。还应记录点击偏差和耗时分布。若每个目标独立成功的概率为百分之九十五，三个目标全部成功约为百分之八十六；实际错误还可能相互关联。

原始实验中提到的三百张样本、约百分之九十六准确率，以及百毫秒级耗时，只能作为特定条件下的参考。字符范围、字体数量、硬件配置和计时边界都会影响结果。报告里应说明测的是单字还是整题，耗时是否包含截图、网络请求及页面等待，避免把不同口径的数据放在一起比较。

三、预处理别下手太重，先把字完整留下来

拿到图片后，可以先观察文字与背景靠什么区分。如果文字明显更深，灰度化加二值化通常就能建立一个基础版本；如果文字颜色鲜艳、背景偏灰，颜色通道可能更有帮助。预处理的目标是保留有用笔画、减少背景干扰，并不要求每张图都变成同一种黑白效果。

OpenCV的自适应阈值适合亮暗不均的图像。邻域大小必须是大于一的奇数，决定局部阈值参考多大范围；常数项控制阈值偏移。对于反向二值化，增大这个常数通常会减少白色前景，但也可能削掉浅色笔画。调参时要查看中间图，不能只凭一个参数值判断好坏。

中值滤波可以减少孤立噪点，形态学开运算能去掉部分细小结构，不过汉字本身也有细横、短撇和点画。核过大时，“未”和“末”之间的差别可能一起被抹掉。建议从小核开始逐项测试，每增加一步处理，就检查是否真的改善检测或识别，而不是仅仅让图片看起来干净。

基础定位可以使用外轮廓或连通域分析，再根据面积、宽高比和位置筛选候选框。阈值应参考图片尺寸与预期字高，不能把某张小图上好用的面积范围直接用于高清截图。轮廓面积分布有助于观察噪声，但其中混有干扰线和碎笔画，不能直接把中位数当作可靠的字符分界线。

汉字包含分离部件，一个字不一定对应一个连通区域；相邻字符与干扰线粘连后，也可能变成同一个区域。可以结合距离、对齐关系和预期字高合并碎片，但不宜一律腐蚀或细化。随机布局下，水平投影也未必能分开字符。简单规则失效时，应考虑专门的文字检测模型。

裁剪候选框后，先留出少量边缘，再等比例缩放并补齐到统一尺寸，避免把宽字压瘦、把窄字拉宽。增强操作可以加入轻微旋转、模糊和颜色变化，但应符合目标样式。过强的变形会改变笔画关系，模型学到的内容反而偏离真实输入。

四、从识别结果走到页面，坐标和状态都要对

字符类别较少、字体比较固定时，可以尝试单字分类模型；字符范围较广或样式变化明显时，可以评估预训练OCR。无论采用哪种方案，都应保留低置信度结果，并设置明确的失败出口。模型没有把握时继续猜测，容易让后面的定位和点击问题变得更难排查。

匹配阶段先解析提示顺序，再从候选列表中寻找对应字符。形近字混淆需要回看裁剪图和预测分数；出现多个同字候选时，则应依据题目规则消除歧义。候选缺失、提示无法解析或顺序存在歧义，都应返回可辨认的错误状态，避免把不完整结果包装成一次成功识别。

坐标转换是常见误点来源。假设原图尺寸为W乘H，页面中实际显示的图像区域为w乘h，其左上角在视口的位置是L和T，那么原图点x、y对应的位置就是L加x乘w除以W，以及T加y乘h除以H。这适用于图像按矩形缩放显示的情况，计算依据必须来自同一次页面状态。

如果图片被裁剪，或者使用object-fit产生留白，还要先确定真实图像区域。元素边框、浏览器缩放和设备像素比也可能影响截图与点击坐标的关系。使用浏览器自动化工具时，应查清接口接收的是视口坐标还是元素内部坐标，避免重复补偿滚动距离或设备比例。

点击后应等待明确的状态变化，例如成功提示出现、验证面板关闭或题目刷新，并设置超时。固定睡眠可以用于早期排查，但难以适应不同响应速度。授权测试中还可以保存候选框、计划点击点和最终状态，回放时就能区分识别错误、坐标偏差与页面更新造成的失败。

五、自建模型还是接API，按维护成本选择

自建方案适合需要展示算法过程的课设，也适合样式稳定、能够持续维护数据的内部实验。目录可以按数据处理、模型推理、坐标映射和接口服务划分。模型参数在服务启动时加载，避免每个请求重复读取；部署后分别记录预处理、推理和端到端耗时，才能找准真正的性能瓶颈。

低配置服务器能否运行，需要用实际模型和并发负载验证。除了单次耗时，还应观察内存占用、冷启动和排队时间。对于业务团队，维护字体变化、更新样本、重新训练和兼容接口都需要投入。如果主要目标是连接已有系统，可以把外部识别服务纳入评估，减少自行搭建整条处理链的工作。

针对极验、易盾等验证码场景，www.ttocr.com提供验证码识别与自动化API对接服务，面向滑块、点选、无感、九宫格等类型提供相应方案。需要覆盖文字点选、图标点选及其他交互样式的团队，可以根据实际版本咨询支持范围，用授权测试样本核对返回结果和接口适配情况。

API接入通常可以收敛为几个清楚的动作：按文档准备输入、提交请求、解析结果，再交给现有业务处理。接入前应确认坐标对应原图还是显示区域，错误码如何区分，以及接口是否支持请求追踪。设置超时与有限重试，并避免同一题目重复提交，能让后续排查和运行维护更省力。

如果项目还涉及五子棋、躲避障碍、空间等交互类型，可以向www.ttocr.com进一步了解具体识别能力与对接要求。企业可先选取一批具有代表性的授权样本，核对成功率、延迟和异常返回，再完成API联调。把输入输出约定清楚，业务侧就能围绕统一接口组织流程，减少逐类维护识别逻辑的负担。