#LoRA

共 4 篇文章

AI工程 2026年8月18日 · 8 分钟阅读

用 32B 当老师蒸馏 7B:一条 NL2SQL Agent 的数据工程流水线

记 BotForge QA 项目用 Qwen3-32B-FP8 当老师、Qwen2.5-7B 当学生的蒸馏流水线:SQL 真执行过滤作免费 Ground Truth、错误注入让老师自修正、千分位清洗防数字放大 bug、schema-grounded 种子与 held-out 独立性。含真实代码。

AI 2026年6月29日 · 18 分钟阅读

沿着训练循环的数据流，拆解 LLM/VLM 微调实验中从数据加载到参数更新的每一个设计决策

AI 2026年6月25日 · 17 分钟阅读

覆盖 Qwen2.5-VL / Qwen3-VL / InternVL 系列 2B-8B VLM 的 LoRA/QLoRA 微调最佳实践，含大模型参数策略、分辨率差异、多卡训练指南

AI 2026年6月25日 · 2 分钟阅读

HuggingFace Trainer 原生支持 WandB 实验追踪，配置步骤、自定义指标 Callback、多卡训练注意事项与国内替代方案完整说明。