--- title: "LLM优雅降级" description: "讲解LLM系统在异常情况下的优雅降级策略，保障核心功能可用" tags: ["优雅降级", "容错设计", "高可用"] category: "llm" icon: "🧠"

LLM优雅降级

当LLM服务出现异常或资源不足时，系统应该能够优雅降级而非直接崩溃。优雅降级意味着在无法提供完整服务时，仍然能够提供部分功能或兜底方案，保障核心业务的可用性。

降级的基本原则

降级策略需要遵循几个核心原则：首先，明确哪些功能是核心功能，降级时必须保证；其次，降级方案要提前准备，不能临时拼凑；最后，降级对用户应该是透明的，用户感知不到服务异常。

分级降级方案

根据异常严重程度，设计不同级别的降级：

class LLMService:
    def __init__(self):
        self.degradation_levels = {
            "normal": self.full_service,
            "light": self.light_degradation,
            "heavy": self.heavy_degradation,
            "emergency": self.emergency_fallback
        }

    async def process(self, request):
        level = self.get_degradation_level()
        handler = self.degradation_levels[level]
        return await handler(request)

    async def full_service(self, request):
        return await self.primary_model.generate(request)

    async def light_degradation(self, request):
        return await self.secondary_model.generate(request)

    async def heavy_degradation(self, request):
        return await self.cached_responses.get(request)

    async def emergency_fallback(self, request):
        return self.default_response

缓存降级

当LLM服务不可用时，优先从缓存中获取历史响应：

class CacheDegradation:
    def __init__(self, cache):
        self.cache = cache
        self.similarity_threshold = 0.85

    async def get_response(self, prompt):
        # 尝试精确匹配
        exact = self.cache.get_exact(prompt)
        if exact:
            return exact

        # 尝试相似匹配
        similar = self.cache.find_similar(prompt, self.similarity_threshold)
        if similar:
            return similar

        return None

缓存降级的关键是设计合理的相似度匹配策略，在命中率和响应质量之间取得平衡。

规则引擎降级

对于结构化输入，可以使用预定义规则生成响应：

class RuleBasedFallback:
    def __init__(self):
        self.rules = {
            "greeting": "你好！感谢您的咨询。",
            "farewell": "再见！如有问题请随时联系我们。",
            "complaint": "非常抱歉给您带来不便，我们已记录您的反馈。",
        }

    def generate(self, intent):
        return self.rules.get(intent, "我们已收到您的请求，将尽快处理。")

规则引擎适用于意图明确、响应模式固定的场景。

模型降级

使用更小、更快的模型作为后备方案：

class ModelDegradation:
    def __init__(self):
        self.models = [
            {"name": "gpt-4", "cost": 1.0, "quality": 0.95},
            {"name": "gpt-3.5-turbo", "cost": 0.1, "quality": 0.85},
            {"name": "local-model", "cost": 0.01, "quality": 0.7},
        ]

    def select_model(self, budget, quality_requirement):
        for model in self.models:
            if model["cost"] <= budget and model["quality"] >= quality_requirement:
                return model["name"]
        return self.models[-1]["name"]

模型降级要根据业务场景选择合适的降级路径，确保降级后的质量仍可接受。

人工接管降级

当自动化方案无法解决问题时，将请求转交人工处理：

class HumanFallback:
    async def handle(self, request):
        ticket = await self.create_support_ticket(request)
        await self.notify_human_agent(ticket)
        return {
            "status": "pending",
            "message": "您的请求已转交专人处理，预计10分钟内回复。",
            "ticket_id": ticket.id
        }

人工接管是最后的兜底方案，适用于高价值或复杂场景。

降级监控与告警

降级发生时需要及时通知相关人员：

class DegradationMonitor:
    def __init__(self, alert_service):
        self.alert = alert_service

    def on_degradation(self, level, request_count):
        if level == "heavy":
            self.alert.send_critical(f"重度降级：{request_count}个请求受影响")
        elif level == "emergency":
            self.alert.send_emergency("进入紧急降级状态，需要立即处理")

总结

优雅降级是LLM系统鲁棒性的重要保障。通过分级降级、缓存兜底、规则引擎、模型降级和人工接管的组合，确保系统在各种异常情况下都能提供基本服务。