🧠

Weights & Biases：LLM实验可视化平台

📂 llm ⏱ 3 min 520 words

--- title: "Weights & Biases：LLM实验可视化平台" description: "介绍Weights & Biases在大型语言模型实验跟踪、可视化和协作中的应用。" tags: ["wandb", "实验可视化", "llm", "mlops", "监控"] category: "llm" icon: "🧠"

Weights & Biases：LLM实验可视化平台

什么是Weights & Biases？

Weights & Biases（W&B）是一个机器学习实验跟踪平台，提供强大的可视化和协作功能。它特别适合大型语言模型的开发和研究。

核心功能

1. 实时实验跟踪

import wandb

# 初始化实验
wandb.init(project="llm-fine-tuning", name="llama2-experiment")

# 记录超参数
wandb.config.update({
    "model": "llama-2-7b",
    "learning_rate": 2e-5,
    "batch_size": 16,
    "epochs": 5,
    "dataset": "custom-instruction-dataset"
})

# 训练循环中记录指标
for epoch in range(wandb.config.epochs):
    train_loss = train_one_epoch(model, train_loader)
    eval_loss = evaluate(model, val_loader)
    
    # 记录指标
    wandb.log({
        "train/loss": train_loss,
        "eval/loss": eval_loss,
        "epoch": epoch
    })

2. 高级可视化

# 记录学习曲线
wandb.log({
    "learning_curve": wandb.plot.line_series(
        xs=epochs,
        ys=[train_losses, val_losses],
        keys=["train", "validation"],
        title="训练曲线"
    )
})

# 记录混淆矩阵
wandb.log({
    "confusion_matrix": wandb.plot.confusion_matrix(
        y_true=labels,
        preds=predictions,
        class_names=class_names
    )
})

# 记录注意力权重可视化
wandb.log({
    "attention_weights": wandb.Image(attention_plot)
})

3. 模型版本管理

# 保存模型
torch.save(model.state_dict(), "model.pt")
wandb.save("model.pt")

# 记录模型元数据
wandb.log({
    "model_size": sum(p.numel() for p in model.parameters()),
    "model_type": "transformer",
    "task": "text-generation"
})

# 创建模型 Artifact
artifact = wandb.Artifact("llm-model", type="model")
artifact.add_file("model.pt")
wandb.log_artifact(artifact)

LLM特定功能

提示工程跟踪

# 跟踪不同提示模板
prompts = [
    "请总结：{text}",
    "用三点概括：{text}",
    "提取关键信息：{text}"
]

for i, prompt in enumerate(prompts):
    with wandb.init(project="prompt-engineering", name=f"prompt-{i}"):
        wandb.config.update({"prompt_template": prompt})
        
        # 测试提示效果
        results = test_prompt(prompt, test_data)
        
        wandb.log({
            "accuracy": results["accuracy"],
            "fluency": results["fluency"],
            "relevance": results["relevance"]
        })

模型比较

# 比较不同模型
models = ["gpt-3.5", "gpt-4", "llama-2-7b", "mistral-7b"]

for model_name in models:
    with wandb.init(project="model-comparison", name=model_name):
        wandb.config.update({"model": model_name})
        
        # 评估模型
        metrics = evaluate_model(model_name, test_dataset)
        
        wandb.log({
            "accuracy": metrics["accuracy"],
            "latency": metrics["latency"],
            "cost_per_1k_tokens": metrics["cost"]
        })

训练监控

# 实时监控训练过程
wandb.watch(model, log="all", log_freq=100)

# 记录梯度分布
wandb.log({
    "gradients": wandb.Histogram(model.layer.weight.grad.cpu().numpy())
})

# 记录参数更新
wandb.log({
    "weight_updates": wandb.Histogram(
        (model.layer.weight - initial_weights).cpu().numpy()
    )
})

高级分析功能

超参数搜索

import wandb

# 定义搜索空间
sweep_config = {
    "method": "bayes",
    "metric": {"name": "eval/loss", "goal": "minimize"},
    "parameters": {
        "learning_rate": {"min": 1e-6, "max": 1e-3},
        "batch_size": {"values": [8, 16, 32]},
        "dropout": {"min": 0.1, "max": 0.5}
    }
}

# 运行搜索
sweep_id = wandb.sweep(sweep_config, project="llm-hyperparameter-search")

def train():
    wandb.init()
    # 训练模型...
    wandb.log({"eval/loss": final_loss})

wandb.agent(sweep_id, function=train, count=20)

性能分析

# 记录推理性能
import time

start_time = time.time()
output = model.generate(input_ids)
inference_time = time.time() - start_time

wandb.log({
    "inference_time": inference_time,
    "tokens_per_second": len(output) / inference_time,
    "memory_usage": get_gpu_memory_usage()
})

错误分析

# 记录错误案例
errors = []
for batch in test_loader:
    predictions = model(batch["input_ids"])
    for i, (pred, true) in enumerate(zip(predictions, batch["labels"])):
        if pred != true:
            errors.append({
                "input": batch["inputs"][i],
                "predicted": pred,
                "actual": true,
                "confidence": get_confidence(predictions[i])
            })

# 记录错误分析
wandb.log({
    "error_analysis": wandb.Table(columns=["input", "predicted", "actual", "confidence"]),
    "error_count": len(errors),
    "error_rate": len(errors) / len(test_loader.dataset)
})

协作功能

团队共享

# 共享实验结果
wandb.finish()

# 在Web界面查看
# https://wandb.ai/your-team/llm-project

评论和讨论

# 添加实验注释
wandb.summary["notes"] = "这个实验使用了新的数据增强技术"
wandb.summary["conclusion"] = "模型在测试集上提升了3%的准确率"

# 标记重要实验
wandb.alert(
    title="重要实验结果",
    text="模型达到了92%的准确率，超过了基线",
    level=wandb.AlertLevel.INFO
)

报告生成

# 生成实验报告
report = wandb.Report(
    title="LLM微调实验报告",
    sections=[
        wandb.Section("实验概述", "本次实验比较了不同学习率对模型性能的影响"),
        wandb.Section("结果", "学习率为2e-5时模型表现最佳"),
        wandb.Section("结论", "建议使用2e-5作为生产环境的学习率")
    ]
)

report.save()

集成其他工具

与Hugging Face集成

from transformers import Trainer, TrainingArguments

# 配置W&B集成
training_args = TrainingArguments(
    output_dir="./results",
    report_to="wandb",
    run_name="llm-training-run"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset
)

# 训练自动记录到W&B
trainer.train()

与PyTorch集成

import torch
import wandb

# 记录PyTorch模型
wandb.watch(model, log="all")

# 记录数据加载器
wandb.log({"dataloader": wandb.DataLoader(train_loader)})

# 记录优化器状态
wandb.log({
    "optimizer": wandb.Artifact("optimizer-state", type="optimizer")
})

实际应用案例

对话系统优化

实验设置：
- 基础模型：LLaMA-2-7B
- 训练数据：10K对话样本
- 评估指标：流畅性、相关性、安全性

实验结果：
1. 基础微调：流畅性 85%，相关性 78%，安全性 92%
2. 指令微调：流畅性 88%，相关性 85%，安全性 94%
3. RLHF：流畅性 90%，相关性 88%，安全性 96%

关键发现：
- 指令微调显著提升了相关性
- RLHF进一步提升了所有指标
- 安全性始终是优先考虑的因素

最佳实践

实验命名规范

# 使用有意义的命名
wandb.init(
    project="llm-development",
    name="llama2-instruction-tuning-v2",
    tags=["fine-tuning", "instruction", "production"]
)

# 记录实验目的
wandb.summary["objective"] = "提升模型在客服场景下的回答质量"
wandb.summary["dataset"] = "customer-support-10k"
wandb.summary["evaluation_method"] = "human-eval + automated-metrics"

性能优化

# 减少日志频率
wandb.init(settings=wandb.Settings(log_internal="warn"))

# 批量记录
metrics_batch = {}
for step in range(100):
    # 计算指标...
    if step % 10 == 0:  # 每10步记录一次
        wandb.log(metrics_batch)
        metrics_batch = {}

成本控制

# 监控实验成本
wandb.log({
    "gpu_hours": calculate_gpu_hours(),
    "estimated_cost": calculate_cost(),
    "budget_remaining": budget - calculate_cost()
})

# 设置成本告警
if calculate_cost() > budget * 0.8:
    wandb.alert(
        title="预算警告",
        text="实验成本已达到预算的80%",
        level=wandb.AlertLevel.WARN
    )

总结

Weights & Biases为LLM开发提供了强大的实验管理能力：

实时可视化 - 直观的图表和仪表板
高级分析 - 超参数搜索、性能分析
团队协作 - 共享、评论、报告生成
工具集成 - 与主流ML框架无缝集成
成本监控 - 实时跟踪计算资源使用

通过W&B，团队可以更高效地进行LLM实验，快速迭代，提升模型性能。

﻿--- title: "Weights & Biases：LLM实验可视化平台" description: "介绍Weights & Biases在大型语言模型实验跟踪、可视化和协作中的应用。" tags: ["wandb", "实验可视化", "llm", "mlops", "监控"] category: "llm" icon: "🧠"

Weights & Biases：LLM实验可视化平台

什么是Weights & Biases？

核心功能

1. 实时实验跟踪

2. 高级可视化

3. 模型版本管理

LLM特定功能

提示工程跟踪

模型比较

训练监控

高级分析功能

超参数搜索

性能分析

错误分析

协作功能

团队共享

评论和讨论

报告生成

集成其他工具

与Hugging Face集成

与PyTorch集成

实际应用案例

对话系统优化

最佳实践

实验命名规范

性能优化

成本控制

总结

--- title: "Weights & Biases：LLM实验可视化平台" description: "介绍Weights & Biases在大型语言模型实验跟踪、可视化和协作中的应用。" tags: ["wandb", "实验可视化", "llm", "mlops", "监控"] category: "llm" icon: "🧠"