2025.01 - 2025.03
Tencent 腾讯 / TRS推荐中台 / 推荐系统基础架构中心 · 向量数据库
向量数据库实习
TRS腾讯推荐中台基于PCG领先的大规模机器学习和个性化推荐技术,融合腾讯视频、QQ浏览器、腾讯QQ、腾讯新闻等多业务的推荐积累,提供集推荐全模块组件服务-管理平台一体的一站式推荐系统解决方案。
- Performance在 Faiss GPU 现有基础上,参考学术界文献,引入 RadiK top-k selection 算法并将其改良以适配分块距离计算,成功突破 Faiss 原有 2048 的 top-k 限制,在 top-k=2048 场景下将 GPU 检索 QPS 提升约 13×,P99 延迟由秒级降至百毫秒级,显著提升大 top-k 检索吞吐。
- Realtime参与补齐 Faiss 实时向量增删改能力,基于 CUDA VMM 虚拟显存机制重映射 id,大幅缩减内存拷贝开销,将文档的单条删除从毫秒级优化到微秒级,支撑推荐系统与 RAG 场景的高实时性要求。
- System为了充分释放 GPU 的并行能力,参与设计将零散召回请求自动重组为 batch 的 GPU 检索调度组件,使用无锁队列 + 专用 batch 线程 + 线程池执行模型,将线上单 query 请求自动聚合为大 batch,大幅提升系统 QPS。
- Memory基于 CUDA VMM 提供的虚拟显存机制,引入按需分页扩容与分块计算策略,支持同卡多索引实例稳定运行,消除显存扩容峰导致的 OOM 风险,在百万级高维向量检索场景下相较纯 CPU 方案实现单节点 QPS/cost 的数量级提升。