五金产品图片视觉模型训练方案

目标：用五金建材产品图片训练视觉模型，使其能够识别产品品名、品牌、规格等特征。

涉及多Agent协作调研：视觉模型选型、数据标注策略、训练流程设计、部署工具链四个维度。

调研时间：2026-05-03

一、核心挑战分析

五金产品图片训练视觉模型，与通用图像分类任务有本质区别，面临以下独特挑战：

结论： 不能靠单一视觉模型解决，需要多模型组合 pipeline。

二、模型选型推荐

2.1 三种核心模型对比

2.2 推荐 pipeline 架构

图片输入
    │
    ├─ Florence-2 ──→ 目标检测 + OCR识别（文字提取）
    │                      │
    │                      ▼
    │               五金产品属性知识库
    │               （规格参数映射）
    │
    ├─ CLIP ──→ 产品分类（大类/中类/小类）
    │           以图搜图（相似商品）
    │
    └─ LLaVA ──→ 产品描述生成
                  开放式属性问答
                  复杂视觉推理

2.3 针对五金场景的选型建议

备选： 如需在消费级GPU上运行，Florence-2 + CLIP 组合是最优解。

三、数据标注策略

3.1 层级式分类标注体系

Level 1: 大类        →  紧固件 / 工具 / 管件 / 建筑五金 / ...
Level 2: 中类        →  螺栓 / 螺钉 / 螺母 / 垫圈 / ...
Level 3: 小类        →  六角螺栓 / 法兰螺栓 / 内六角螺栓 / ...
Level 4: 具体规格    →  六角螺栓 M10×30 8.8级 镀锌

关键原则： SKU级标注需配合商品属性库（规格参数表），而非纯视觉判断。很多属性（材质/强度）无法从图片判断。

3.2 标注格式建议

{
  "image_id": "IMG_xxxxx",
  "category_path": ["紧固件", "螺栓", "六角螺栓"],
  "sku_id": "SKU_12345",
  "attributes": {
    "规格": "M10×30",
    "材质": "碳钢",
    "表面处理": "镀锌",
    "强度等级": "8.8"
  },
  "annotations": [
    {"type": "bbox", "label": "产品主体", "coordinates": [x, y, w, h]},
    {"type": "keypoint", "label": "螺纹起始", "coordinates": [x, y]}
  ],
  "confusion_pairs": ["SKU_67890"],
  "difficulty": "high"
}

3.3 重点注意事项

1. 避免纯视觉标注：材质/强度等属性需结合商品信息库
2. 重视尺度问题：M6/M8/M10差异仅几毫米，拍摄距离/角度影响判断
3. 表面处理区分：镀锌/镀镍/发黑在某些光照下视觉差异极小
4. 建立纠错机制：商家图片与属性可能不符，需有发现和纠正流程

3.4 标注工具推荐

四、训练流程设计

4.1 数据准备

data/
├── train/
│   ├── images/
│   └── labels/
├── val/
│   ├── images/
│   └── labels/
└── test/
    ├── images/
    └── labels/

划分比例建议： 70/15/15（标准场景）

4.2 预处理

# 图像预处理
- Resize(target_size)           # 如 224x224 或 336x336
- Normalize(mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225])

# 文本预处理
- Tokenization: CLIP tokenizer 或 专用中文tokenizer
- max_length: 512, truncation: True

4.3 数据增强（针对五金产品特点）

注意： 五金产品细粒度差异小，不宜使用过大裁剪/旋转，会丢失区分性特征。

4.4 训练参数配置

# CLIP 微调配置示例
batch_size: 32
num_workers: 4
epochs: 50
mixed_precision: True  # FP16

optimizer:
  type: AdamW
  lr: 1e-5             # CLIP 微调用较低学习率
  weight_decay: 0.01

scheduler:
  type: CosineAnnealingWarmup
  warmup_steps: 500
  eta_min: 1e-7

regularization:
  dropout: 0.1
  label_smoothing: 0.1

4.5 评估指标

五、部署工具链选型

5.1 工具对比

5.2 五金场景选型建议

5.3 本地部署命令示例

# Ollama 快速部署 Florence-2
ollama pull florence2
ollama run florence2 "描述这张五金产品图片"

# llama.cpp 部署 CLIP
# 1. 转换模型为 GGUF
python3 convert-hf-to-gguf.py --model openclip/

# 2. 量化
./quantize ./models/openclip-f16.gguf ./models/openclip-q4_k_m.gguf Q4_K_M

# 3. 推理
./main -m ./models/openclip-q4_k_m.gguf --image product.jpg --mmproj ./models/clip-vit-l-14-gguf.bin

六、完整实施路线图

阶段一：数据准备（2-4周）

1. 建立品类层级树（4级分类体系）
2. 搭建标注平台（Label Studio + 商家库对接）
3. 完成首批核心品类（螺栓/螺母/螺丝刀等）的标注
4. 建立属性知识库（规格参数映射表）

阶段二：模型训练（2-4周）

1. Florence-2 微调（OCR + 检测能力）
2. CLIP 微调（产品分类 + 以图搜图）
3. LLaVA 微调（可选，产品描述生成）

阶段三：Pipeline搭建（1-2周）

1. 多模型编排（Florence-2 → CLIP → LLaVA）
2. 推理服务化（API封装）
3. 知识库对接（属性查询）

阶段四：上线与迭代（持续）

1. 小流量测试 → 全量上线
2. Bad Case 收集 → 难例优先标注
3. 模型更新（增量训练）

七、注意事项汇总

文档版本：v1.0 | 生成时间：2026-05-03
多Agent协作调研：视觉模型选型 × 数据标注策略 × 训练流程设计 × 部署工具链