垂直领域大模型技术演进

┌─────────────────────────────────────────────┐
│           通用大模型基础层                  │
│  (如LLaMA、ChatGLM、Baichuan等基础架构)     │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│          领域知识注入层                     │
│  ┌─────────────┐ ┌─────────────┐          │
│  │ 专业知识库  │ │ 行业术语库  │          │
│  │(医疗、金融、 │ │(专业词典、 │          │
│  │ 法律、工程) │ │ 缩略语等)  │          │
│  └─────────────┘ └─────────────┘          │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│          参数优化层                         │
│  ┌─────────────┐ ┌─────────────┐          │
│  │ LoRA微调    │ │ P-Tuning    │          │
│  │(低秩适配器) │ │(提示微调)   │          │
│  └─────────────┘ └─────────────┘          │
│  ┌──────────────────────────────┐          │
│  │ QLoRA                        │          │
│  │(量化低秩适配器)               │          │
│  └──────────────────────────────┘          │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│          推理优化层                         │
│  ┌─────────────┐ ┌─────────────┐          │
│  │ 领域提示模板│ │ 知识检索    │          │
│  │(专用Prompt) │ │(RAG系统)    │          │
│  └─────────────┘ └─────────────┘          │
└─────────────────────────────────────────────┘

外部知识库 → 向量数据库 → 检索系统 → 大模型 → 输出
            ↓                     ↑
        相似度搜索             上下文增强

import pandas as pd
from transformers import AutoTokenizer
import chromadb
from langchain.text_splitter import RecursiveCharacterTextSplitter

class DomainDataProcessor:
    def __init__(self, domain_name, model_name="chatglm3-6b"):
        self.domain = domain_name
        # 使用目标模型的tokenizer确保文本处理一致性
        self.tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
        # 文本分块器配置，chunk_size根据模型最大上下文长度调整
        self.text_splitter = RecursiveCharacterTextSplitter(
            chunk_size=1000,  # 根据实际需求调整，一般512-1024之间
            chunk_overlap=200,  # 重叠部分确保信息连续性
            length_function=len,
        )
    
    def process_domain_docs(self, docs):
        """处理领域文档，构建向量数据库"""
        # 1. 文本分块：将长文档分割为适合检索的小片段
        chunks = self.text_splitter.split_text(docs)
        
        # 2. 构建向量索引
        # 生产环境建议指定持久化路径：chromadb.PersistentClient(path="./chroma_db")
        chroma_client = chromadb.Client()
        collection = chroma_client.create_collection(
            name=f"{self.domain}_knowledge"
        )
        
        # 3. 添加文档到向量数据库
        for i, chunk in enumerate(chunks):
            collection.add(
                documents=[chunk],
                metadatas=[{"source": f"doc_{i}", "chunk_id": i}],
                ids=[f"id_{i}"]
            )
        return collection

vertical_model_config.yaml
model:
  base_model: "chatglm3-6b"  # 基础模型
  domain: "finance"         # 目标领域
  
training:
  method: "lora"           # 微调方法
  rank: 16                 # LoRA秩
  alpha: 32                # 缩放因子
  target_modules: ["query", "key", "value", "dense"]  # 目标模块
  
data:
  domain_corpus_path: "./data/finance_corpus.jsonl"
  domain_qa_path: "./data/finance_qa.jsonl"
  
optimization:
  batch_size: 8
  learning_rate: 2e-4
  num_epochs: 10
  warmup_steps: 100
  
deployment:
  quantization: "int8"      # 量化方案
  max_length: 4096         # 最大生成长度
  temperature: 0.7         # 温度参数

┌─────────────────────────────────────────────────┐
│                用户查询                          │
└────────────────────┬────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────┐
│           查询理解与重写模块                     │
│   - 领域术语识别                                │
│   - 查询意图分类                                │
│   - 查询扩展与优化                              │
└────────────────────┬────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────┐
│            向量检索模块                          │
│   - 相似度计算（余弦、欧氏距离）                 │
│   - Top-K结果筛选                                │
│   - 相关性重排序                                 │
└────────────────────┬────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────┐
│           上下文构造模块                         │
│   - 检索结果去重                                 │
│   - 上下文组织优化                               │
│   - 相关性评分过滤                               │
└────────────────────┬────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────┐
│           大模型生成模块                         │
│   - 领域特定Prompt模板                           │
│   - 流式生成控制                                 │
│   - 事实性检查                                   │
└────────────────────┬────────────────────────────┘
                     │
┌────────────────────▼────────────────────────────┐
│             输出后处理                           │
│   - 引用标注                                     │
│   - 格式标准化                                   │
│   - 安全性过滤                                   │
└─────────────────────────────────────────────────┘