Modal 部署 SGLang + Qwen3.5 多 LoRA:一次从跑不通到稳定推理的实战复盘
记录一次在 Modal 上部署 SGLang 推理服务(Qwen3.5 + 多 LoRA)的完整踩坑过程:模型配置修复、LoRA 参数格式、显存调优、超时与成本控制、Ghost Text 续写约束和平台接入策略。
,技术,约 7 分钟
记录一次在 Modal 上部署 SGLang 推理服务(Qwen3.5 + 多 LoRA)的完整踩坑过程:模型配置修复、LoRA 参数格式、显存调优、超时与成本控制、Ghost Text 续写约束和平台接入策略。
,技术,约 7 分钟
为 AI 小说生成系统设计一个策划前端——通过 5 个对话模式引导用户与 AI 共创世界观、角色、大纲等素材,最终导出为生成引擎可直接消费的格式。
,技术,约 8 分钟
从零设计一套 AI 长篇小说生成系统,用 LightRAG 知识图谱 + 断言式事实核查 + POV 认知沙箱解决 AI 写长文时的角色遗忘和上帝视角问题。
,技术,约 9 分钟
详解 Owl 项目中的 Memory 系统设计,包括短期记忆、工作记忆、长期记忆的分层架构,以及遗忘门、记忆整合等核心机制。
,技术,约 15 分钟
为短链服务集成 Prometheus + Grafana 可观测性体系,优化统计批量写入性能 10-20 倍,并使用布隆过滤器彻底防止缓存穿透。
,技术,约 11 分钟
记录一次企业微信回调消息解密失败的排查过程,问题根源是企业微信的填充实现不符合标准 PKCS7 规范。
,技术,约 3 分钟
用 Go 实现一个最小的 LLM 客户端,调用 DeepSeek API,理解 OpenAI 兼容格式的请求和响应结构。
,技术,约 9 分钟
为短链服务集成 Redis 限流和缓存,使用 ristretto 实现本地二级缓存,并通过压测分析性能瓶颈。
,技术,约 15 分钟