长上下文 · 高效注意力
生成式推荐基础模型
设计基于 Transformer / HSTU 的长上下文模型，升级 Varlen Flash Attention 与 Dynamic Batch，解决推荐行为序列中的长期依赖和中长尾建模。
2.2×训练吞吐-50%推理成本+0.4%在线 AUC
你好，我是
衣景龙 👋
大模型高级算法专家
哈尔滨工业大学计算机专业本硕，5年大模型、搜索与推荐算法研发经验。聚焦 Foundation Model 预训练、模型 Scaling、长上下文建模及高效推理。
5+年算法研发经验
WHAT I DO
构建可规模化的
智能系统
具备从数据构建、模型架构、规模化训练、性能优化到线上部署的完整经验，拥有万卡集群训练推理协作及 10 人以上技术团队管理经验。
Foundation ModelTransformerHSTUMoEFlash AttentionSparse AttentionKV CachePD 分离Scaling LawQLoRA知识蒸馏CoT Prompt
- 基础模型预训练、数据构建与下游任务迁移
- Dense / Sparse 模型及参数、上下文长度 Scaling
- 110K 长序列训练与高效注意力架构
- Dynamic Batch、量化、算子融合与吞吐优化
- SFT、对比学习、多任务学习与知识迁移
FEATURED WORK
代表项目
从研究原型到全量部署，持续以模型规模、计算效率和业务收益验证技术价值。
预训练 · Scaling · 万卡集群
Foundation Model 从 0 到 1
带队 7 人搭建数据、模型、训练、评测与部署 Pipeline，将 Dense 模型扩展至 4B、稀疏模型扩展至百 T 参数、上下文扩展至 110K。
70%算力节省100T+模型规模ROI+全量上线
后训练 · 用户理解
显式用户表征与冷启动
打通“用户信息—LLM 兴趣推理—标签生成—下游召回”链路，通过 CoT、Few-shot 与 Qwen3 知识蒸馏提升新用户和低活用户体验。
全量业务部署多业务方案复用LT+显著正向
EXPERIENCE
工作经历
字节
字节跳动 · 抖音主站
大模型高级算法专家
连续多次 TOP 30% 绩效
- 长上下文大模型与高效注意力核心算法负责人
- Foundation Model 预训练与 Scaling 项目负责人，带队 7 人
- LLM 后训练与显式用户表征项目负责人
- 联合 NVIDIA 推进 Attention、SWA、Fusion Bias、MoE 算子优化
腾讯
腾讯
算法研究员
连续 TOP 10% 绩效 · 连续晋升三级 · 部门卓越之星
- 视频搜索领域大模型：准召率提升 11.2%
- 搜索粗排优化：AUC 提升 2.98%，用户时长提升 1.83%
- 多向量表征：用户时长提升 2.59%，点击率提升 0.52%
- 项目负责人，带队 2 人，产出四篇专利
EDUCATION & INTERNSHIPS
教育与早期经历
HIT
哈尔滨工业大学 · 硕士
计算机科学与技术 · 自然语言处理与人机对话
成绩 90.75 · TOP 0.5%HIT
哈尔滨工业大学 · 本科
计算机科学与技术
成绩 88.98 · TOP 4%A
Alibaba · 搜索推荐事业部
首页推荐算法工程师 · 2020.07—2020.09
OCR 文案可用率 90% → 95%，在线透出率 +7%N
Netease · 伏羲实验室
算法工程师 · 2020.04—2020.07
Slot Filling 准确率 45% → 86%ACHIEVEMENTS
成果与荣誉
🏆
竞赛
全国大学生数学建模竞赛国家二等奖；CCF 语言与智能技术竞赛 18/163、20/93；京东对话挑战 16/256。
🎓
荣誉
奖学金累计 20w+；国家级奖项 2 项、省级 1 项、校级 20 余项。
📄
研究产出
A 会一作 2 篇，一作期刊 2 篇；专利 6 篇（其中一作 3 篇）；软件著作权 1 篇。
LET'S CONNECT
期待与你交流
大模型、搜索推荐、长上下文建模与高效推理。