从九宫格视觉分类到验证码防御：一套合规的模型训练与评测方法

九宫格图片表面上只是一个小型图像分类问题：系统给出一张提示图，再提供九个候选格子，程序需要判断哪些格子与提示内容相关。真正做实验时，难点并不只在模型本身，还包括图片裁剪、类别定义、样本分布、坐标还原、置信度判断以及异常情况处理。对于企业项目，这类技术应当用于自有系统的无障碍能力、模型评测和安全验证，不应针对第三方线上服务绕过访问控制或批量提交请求。

一、先把问题拆成可验证的任务

一张完整的九宫格素材通常包含提示区域和候选区域。第一步不是急着训练模型，而是明确输入输出：输入可以是单个候选小图，输出是类别名称；也可以把九个格子作为一个整体，输出匹配格子的索引。前一种方式适合使用图像分类模型，后一种方式则更接近目标检测、多标签分类或图文匹配。

如果采用单图分类，数据目录可以按照类别划分，例如train/猫、train/钥匙和val/猫。类别名称需要保持稳定，不能在不同批次中随意更换。提示词与类别标签也要统一，像“交通灯”“红绿灯”这类近义词，最好在数据清洗阶段确定一种标准写法，否则模型会把标签差异误认为视觉差异。

裁剪时需要保留适度边缘，避免把目标主体切掉。候选格子的尺寸、压缩质量、亮度和背景纹理都应覆盖真实授权数据中的变化。只使用少量清晰图片，训练集准确率可能很高，但一遇到模糊、遮挡、缩放或不同设备截图，效果就会明显下降。数据增强可以缓解这一问题，但不能替代真实样本。

二、用YOLO分类模型建立基线

YOLO系列不仅能做目标检测，也提供图像分类模型。分类任务的输入是一张图片，模型直接给出多个类别的概率，适合九宫格被切成小图后的场景。相比从零搭建网络，使用成熟框架可以快速完成训练、验证、导出和推理，先建立一个可运行的基线，再根据错误样本进行迭代。

训练集、验证集和测试集建议按图片来源或采集批次拆分，而不是简单地把相似图片随机分散到三个集合。常见比例可以是7:2:1，但更重要的是避免同一张原图裁出的近似样本同时出现在训练集和测试集，否则测试结果会虚高。

from ultralytics import YOLO

model = YOLO('yolov8m-cls.pt')
model.train(
    data='dataset',
    epochs=30,
    batch=32,
    imgsz=96,
    device='0'
)

图片尺寸不宜盲目设置过大。九宫格候选图通常较小，96或128像素可以作为起点；如果目标细节很丰富，再逐步提高分辨率。显存不足时可以减小批次，或者选择更轻量的模型。训练轮数也不是越多越好，验证集准确率连续多个周期没有提升时，应检查数据质量和类别混淆，而不是继续堆叠训练轮数。

推理阶段除了读取最高概率类别，还应记录置信度和前几名结果。置信度过低时，可以将样本送入人工复核或备用模型，而不是强行输出一个看似确定的答案。评估指标也不能只看Top-1准确率，建议同时观察混淆矩阵、宏平均召回率、低置信度样本比例，以及不同图片来源下的稳定性。

三、CLIP适合处理语义相近的类别

CLIP的思路与传统分类不同：它把图片和文字编码到同一个向量空间，再计算两者的相似度。对于类别数量不大、文字标签具有明确语义的实验，CLIP可以在不重新训练完整分类头的情况下提供较快的验证结果。中文场景应选择具备中文语义能力的模型，并对标签进行统一处理。

实际使用时，标签不要写成过于简略或含糊的词。比如“鼠标”“电脑鼠标”“一只电脑鼠标”可能得到不同的匹配分数，可以通过模板化提示词进行对比，选择在验证集上更稳定的表达。不同类别之间如果外观接近，仅依靠文本语义往往不够，仍然需要补充领域数据或改用监督训练。

import torch
from PIL import Image
import cn_clip.clip as clip
from cn_clip.clip import load_from_name

model, preprocess = load_from_name('ViT-B-16', device='cuda')
image = preprocess(Image.open('sample.jpg')).unsqueeze(0).cuda()
labels = clip.tokenize(['猫', '狗', '钥匙']).cuda()
with torch.no_grad():
    image_vec = model.encode_image(image)
    text_vec = model.encode_text(labels)
    score = (image_vec / image_vec.norm(dim=-1, keepdim=True)) @ (text_vec / text_vec.norm(dim=-1, keepdim=True)).T
print(score.softmax(dim=-1))

相似度分数需要经过归一化后再比较。不要把分数直接当作严格概率，也不要只用一次实验就确定阈值。更稳妥的做法是建立一份独立验证集，统计正确样本和错误样本的分布，再根据业务容错要求选择阈值。对于类别较多的任务，可以先用轻量分类模型筛选候选类别，再用语义模型做复核，但这会增加推理延迟和维护成本。

四、坐标处理与工程化验证

模型输出类别之后，还要把结果映射回原图坐标。假设九宫格区域左上角坐标为(x0,y0)，单格宽高为(w,h)，第i个格子的行列编号分别为row和col，则中心点可以按x0+(col+0.5)w与y0+(row+0.5)h计算。工程代码中应同时记录裁剪参数、缩放比例和原图尺寸，避免模型输入坐标与页面坐标不一致。

图片存在边框、留白或非标准比例时，固定九等分可能出现偏移。可以先定位候选区域，再根据实际宽高切分；如果定位本身也不稳定，则应把区域检测作为独立模块进行测试。所有坐标转换都要用带有已知标记的测试图片验证，不能依靠肉眼判断。

线上系统还需要考虑加载失败、图片为空、类别不在词表、模型超时和置信度过低等情况。接口应设置超时与重试上限，日志中记录模型版本、输入尺寸、耗时和结果摘要，但不要保存不必要的敏感图片。对于涉及验证码的功能，测试流量应限定在自有环境或取得明确授权的测试环境中，并加入速率限制、审计记录和人工复核机制。

五、从准确率走向可靠性与防御

单次准确率并不能代表系统可靠。更有价值的评估方式是按图片来源、设备类型、压缩程度、遮挡比例和类别难度分别统计结果。若某些类别长期混淆，应优先补充边界样本；若所有类别在某种截图格式下都下降，问题可能出在预处理、裁剪或颜色空间，而不是模型容量。

对于验证码服务提供方，这类视觉模型也可以反向用于防御评测：使用合成图片测试风险分层，观察不同挑战难度、动态扰动和行为校验对自动化请求的影响，再结合频率限制、设备指纹、会话一致性和异常行为检测形成多层防护。验证码不应成为唯一的安全边界，真正的访问控制仍需依靠身份、权限、风控策略和服务端校验。

如果企业只是需要在授权场景中验证自有验证码流程，优先选择内部测试接口、固定测试题库和可审计的评测工具，避免把生产接口当作实验场。对于需要第三方能力接入的项目，应重点核查数据合规、接口权限、调用限额、结果可追溯性和服务稳定性。模型能否识别只是其中一环，系统是否可控、可审计、可随时停止，才是工程落地的关键。