Accelerating HDC-CNN Hybrid Models Using Custom Instructions on RISC-V GPUs#
https://arxiv.org/abs/2511.05053
概念#
Hyperdimensional Computing (HDC)：超维计算是一种受大脑工作机制启发的类脑计算范式，它使用极高维度（通常2,000-10,000维）的随机向量来表示和处理信息。其核心思想是：将任何实体（如图像、声音、文本、概念等）编码成高维空间中的向量，利用高维空间的数学特性实现高效的认知操作。与传统计算不同，HDC的信息是全息分布式存储的——信息均匀分布在超向量的每个元素上，而非集中在特定位置。
高维空间的特性
- 准正交性：任意两个随机生成的超向量几乎相互正交（相似度≈0），这意味着高维空间有足够容量表示海量概念
- 鲁棒性：即使30%的维度被噪声污染或损坏，仍能可靠识别原始信息
- 相似性度量：对于二值向量使用汉明距离（不同位数），实数向量使用余弦相似度
三种基本操作
| 操作 | 符号 | 定义 | 特性 |
|---|---|---|---|
| 捆绑/加法（Bundling） | ⊕ | 逐位多数表决（或带阈值的累加） | 结果与输入向量相似 |
| 绑定/乘法（Binding） | ⊗ | 逐位XOR（异或） | 结果与输入向量不相似（准正交） |
| 置换（Permutation） | ρ | 坐标位置循环移位 | 用于表示时序或结构关系 |
关键性质：绑定和置换可逆，捆绑近似可逆；乘法对加法满足分配律。
| 优势维度 | 具体表现 | 与传统AI对比 |
|---|---|---|
| 计算效率 | 仅需逐位运算，无复杂乘加 | 比神经网络快10-100倍 |
| 能耗 | 极低功耗，适合边缘设备 | 功耗降低可达3个量级 |
| 训练速度 | 单次遍历，在线学习 | 无需反向传播，训练时间秒级 |
| 鲁棒性 | 抗噪声、硬件故障 | 30%损坏仍保持90%准确率 |
| 可解释性 | 运算可逆，可追踪决策 | 打破神经网络黑盒 |
| 硬件友好 | 可用简单数字逻辑或存算一体实现 | 无需高端GPU/TPU |
文章核心内容#
HDC对于我来说还是一个很新鲜的内容。相比深度学习的矩阵运算，HDC具有更低的复杂度，单次训练，在线学习能力，无需反向传播。但是这种方法的可靠性仍然需要进一步的研究。在复杂度较高的数据集上，准确率仍然不足。
这篇文章简单的说实现了"支持HDC自定义指令的RISC-V GPU架构扩展" ，并在模拟器上验证了其性能增益。传统CPU和GPU架构计算HDC比较困难。因那次他们设计了一种新的架构可以高效执行HDC与混合模型。
所谓HDC-CNN的混合模型，它的原理仍然是通过CNN来提取特征，通过HDC进行分类。这个做法看起来只是把普通的CNN的分类器换成了HDC，但是实际上这种混合网络只保留了1-2层浅层卷积，深层卷积以及之后的所有层，意味着大部分的参数都是HDC。
HDC上的分类任务被分成了三个阶段：
- Encoding阶段，输入数据被转换成超维向量 HV
- Training阶段，class HV通过数据HV的关系被学习出来
- Inference阶段，比较encoded输入和class HV之间的关系
说实话，这种方法看起来有点像聚类。HDC可视为一种 “基于随机投影的极简聚类” ，它用高维空间的数学性质替代了迭代优化过程。但底层数学原理和计算范式有本质区别。
Encoding方法有很多种。包括Random Projection和Locality-based Sparse Random Projection。训练的方法就是进行同属于一个class的HV进行投票，得到一个class HV。推理阶段就是比较和class HV的汉明距离。
说实话，HDC这个概念看起来并不神奇。可能我还是对他们怎么把硬件和它结合到一起更感兴趣。
Custom GPU#
他们的方法 proposes a custom GPU architecture that supports HDC operations via custom instructions, enabling efficient processing of both HDC and CNN based machine learning models. 这一方法的基础是RISC-V ISA以及开源的Vortex GPGPU。
传统RISC-V GPU每个线程只有32个32位通用寄存器，因此在处理HDC操作时内存-寄存器传输成为瓶颈。因此，作者的操作是引入了32个专用累加寄存器。
文章看到这里基本就不用再看了。他们的工作和我的方向完全不一样。
总结#
这篇文章主要是让我了解了一下什么是HDC，以及现在HDC-CNN的模型大概是什么样的。这篇文章本身在我看来并没有太多的可取之处。