语音对话
学习何时倾听、何时回应
全双工对话不仅需要识别语音,还需要掌握互动时机。我通过合成对话数据与后训练,使轮次式模型适应持续交互,支持话轮切换、附和反馈和打断处理。
语音对话 · 合成数据 · 后训练
生成建模 · 表征学习 · 高效推理
我的研究聚焦于生成建模、表征学习与高效推理。
我目前担任华为香港研究所高级研究工程师,近期主要研究全双工语音对话模型与面向音乐生成的神经音频编解码器,工作涵盖合成数据生成、后训练、自监督表征、向量量化与流匹配解码器。
我于香港大学获得电气与电子工程博士学位,导师为 Ngai Wong 教授与 Edmund Y. Lam 教授。此前主要研究高效神经表征与推理,合作研究还涉及 GUI 智能体与多模态评测。
了解我的研究01 / 研究方向
我关注模型如何学习有效表征、生成结构化输出并实现高效推理,近期应用方向包括全双工语音对话和面向音乐生成的神经音频编解码器。
语音对话
全双工对话不仅需要识别语音,还需要掌握互动时机。我通过合成对话数据与后训练,使轮次式模型适应持续交互,支持话轮切换、附和反馈和打断处理。
语音对话 · 合成数据 · 后训练
表征学习与生成
我的神经音频编解码器研究结合了自监督编码器、向量量化与流匹配解码器。我曾带领由 4 名工程师和研究人员组成的团队,探索这些组件在音乐生成中的应用,重点关注表征学习与生成建模。
神经音频编解码器 · 流匹配 · 表征学习
效率与推理
从紧凑神经表征到大语言模型解码,我研究模型设计和推理算法如何影响计算成本,涉及激活共享、查找表、低比特量化、并行解码及推测解码。
神经场 · 模型压缩 · 推理加速
02 / 代表工作
以下选取 GUI 智能体与高效神经表征方向的代表论文,介绍各项工作所解决的问题。完整论文信息与资源链接见下方。
03 / BLOG
· 智能体与概率决策
从同一个 milestone 例子出发,比较 trajectory scoring 与 Jev 的 structured decisions,直观解释 progress、proximity、score 和 confidence,以及它们对 BFS 的启发。
04 / 发表论文
同行评审论文与预印本。
* 表示共同贡献;本人姓名以粗体标注。
15 篇论文
IEEE TIP 35, 4571–4586 (2026)
SID Symposium Digest 56(1), 282–285 (2025). 优秀学生论文
arXiv:2405.05573 (2024)预印本
未找到匹配的论文。
05 / 个人经历
2024 — 至今
高级研究工程师,Audio Speech Lab
从事生成式人工智能研究,涵盖全双工语音对话模型、面向音乐生成的神经音频编解码器及语音识别。此前在 Fermat Lab 担任研究实习生,研究 GUI 智能体。
2023 — 2024
研究实习生
研究大语言模型推理加速、并行与推测解码,以及面向边缘设备的高效扩散模型。
2020 — 2024
电气与电子工程博士
导师为 Ngai Wong 教授与 Edmund Y. Lam 教授。此前于 2020 年获得电子工程学士学位。
我也曾参与移动应用与语言应用开发,并在香港大学担任助教。 完整工作与教育经历请参阅简历 ↗
联系我
研究交流与职业相关事宜,欢迎通过以下邮箱联系:
jasonlcl@connect.hku.hk