榫卯合一：ReRAM 与向量检索

2022年五一镇齐找到我希望一起做ReRAM的产业落地。彼时我们面临的是拿着锤子找钉子的问题：ReRAM器件在实验室中的表现已臻成熟稳定，我们也有技术上的优势，但把它用在什么场景中去呢？

彼时chatgpt刚刚成为热点，六小龙风光无限；具身智能则方兴未艾，大多数人包括我都没咋听说过这个词。当时镇齐的思路是：大模型规模太大不好做，是否能从端边侧的推理场景做起？但调研过程中发现了不少坑，那时的我们尚还解决不了。我们又提出了好几个场景，例如向量检索、画质增强、ARVR等等。在可行性分析的过程中，向量检索和ReRAM的适配性逐渐突显出来：我们发现 它俩竟如榫卯结构般严丝合缝、浑然天成 ，这简直是上帝送给我们的礼物。

wood_chip

一句话解释向量检索和ReRAM

向量检索（Vector Search） 就是将文本、图像等数据转化为高维向量，通过计算向量间的相似度（如余弦或内积），从海量底库中快速找出语义最相近的结果。

在 AI 浪潮席卷全球的今天，向量检索已成为推荐系统、语义搜索、多模态理解等应用的核心引擎。然而，随着底库规模不断膨胀至亿级甚至十亿级，传统基于 CPU/GPU + DRAM 的架构正面临一个致命瓶颈——I/O 带宽墙。

与此同时，在芯片领域，一种名为 ReRAM（阻变存储器） 的新型存算一体技术悄然崛起。它不走寻常路，将计算直接嵌入存储单元，从根本上重构了“读-算-写”的经典范式。

关于向量检索和ReRAM我们会有单独的文章进一步介绍，今天，我们还是关注它俩“硬件 × 算法”的完美联姻吧。

向量检索的“带宽之痛”

想象一下：你有一个包含 10 亿个 768 维浮点向量的底库。每次用户发起一次查询，系统需要计算该查询向量与底库中所有向量的相似度（通常是内积或余弦距离），再返回 Top-K 最近邻。

这看似简单的操作，背后却隐藏着巨大的数据搬运成本：

  • 10 亿 × 768 × 4 字节 ≈ 3 TB 的原始数据
  • 即使使用量化压缩（如 PQ、OPQ），底库仍可能占据数百 GB
  • 而现代 CPU/GPU 的内存带宽通常只有几十到几百 GB/s

结果是什么呢？90% 以上的时间花在“搬数据”上，而非“算数据”。这就是所谓的 Memory Wall（内存墙） ——计算快如闪电，但数据迟迟不来。

compare

ReRAM：让“存储即计算”

ReRAM的核心特性在于：通过欧姆定律（I = V/R）直接在存储阵列中完成矩阵-向量乘法。

具体来说：

  • 将权重矩阵（如底库向量）以电导值的形式编程到 ReRAM 单元中；
  • 输入向量作为电压施加到字线；
  • 位线上自然流出的电流，就是矩阵与向量的乘积结果！

整个过程 无需将底库数据从存储读出，计算就在存储内部完成。这正是 存算一体（Computing-in-Memory, CiM） 的魔力。

bank

向量检索 ≈ 矩阵-向量乘

你可能会问：ReRAM是一个非常专用的计算器件。向量检索这种大规模计算任务真的能被部署到ReRAM上吗？

答案是肯定的！向量检索的计算模式与 ReRAM 的“专长”高度契合——它只擅长矩阵-向量乘，而向量检索几乎只需要矩阵-向量乘。

  • 对于内积检索（Inner Product Search），给定查询向量 q 和底库矩阵 X（每行为一个底库向量），我们只需计算 q · X^T —— 这正是一个标准的矩阵-向量乘。
  • 即使使用 ANN（近似最近邻）算法如 FAISS、HNSW，其核心打分阶段仍高度依赖内积或 L2 距离计算，均可转化为矩阵-向量乘或其变体。

写少读多？ReRAM 表示很舒服

ReRAM 有个“小缺点”：写入速度比读取、计算慢。

但这对向量检索反而是好消息！

  • 向量底库通常是 静态或低频更新 的（例如每天/每周重建一次索引）；
  • 查询则是 高频、纯读 操作（每秒数千至数万次）；
  • 因此，ReRAM 的“写弱读强”特性完美匹配向量检索的 写少读多 工作负载。

误差？向量检索早就不在乎了！

ReRAM 是模拟计算器件，存在 电导漂移、非线性、噪声 等问题，导致计算结果有一定误差。

但在向量检索的世界里，误差早已被“合法化”：

  • 为了压缩底库，工业界普遍采用 PQ、Scalar Quantization、Binary Quantization 等技术；
  • 这些量化方法引入的 近似误差，往往远大于 ReRAM 的模拟计算误差；
  • 实践证明，只要误差可控，Top-K 结果的召回率（Recall）几乎不受影响。

换句话说：ReRAM 的“不精确”，恰好落在向量检索的“容忍区间”内。

榫卯合一：天作之合

综上所述：

向量检索需求ReRAM 特性匹配度
高带宽读取底库无需读取底库，存内计算⭐⭐⭐⭐⭐
核心计算为 MatVec专精 MatVec⭐⭐⭐⭐⭐
写入不频繁写入慢但寿命够用⭐⭐⭐⭐
容忍计算误差模拟计算有噪声⭐⭐⭐⭐

这哪里是“适配”？分明是 量身定制！

就像中国传统木工中的 榫卯结构——凸出的“榫”与凹进的“卯”相互咬合，无需钉胶，却牢固异常。ReRAM 与向量检索，正是这样一对 软硬协同的“数字榫卯”。

有什么挑战呢？

当然，任何技术落地都不会一帆风顺。ReRAM 在向量检索领域的应用，也面临一些挑战，例如容量和成本问题、性能溢出问题。对于这些问题，我们也会在未来的文章中深入探讨。

结语

或许，未来的搜索引擎、推荐系统、AI 助手，其背后都藏着一块小小的 ReRAM 芯片，默默完成着亿级向量的瞬间匹配。

而这一切，始于一次“榫”与“卯”的精准咬合。