RoPE位置编码 旋转位置编码 RoPE标准Transformer绝对位置编码标准 Transformer 的位置编码通常采用绝对位置编码,也就是对于一句话中每个词(token)的位置: $$p_{k,2i}=\sin\left(\frac{k}{10000^{\frac{2i}{d}}}\right)$$$$p_{k,2i+1}=\cos\left(\frac{k}{10000^{\frac{ 2025-12-22 #Transformer
设计模式-1 装饰器模式 装饰器模式简单的来说,就是为某一个类/对象增加一些额外的功能,类似于Spring的AOP,执行方法增强。 Topic目标:学习装饰器模式课题:实现这样一个功能,在接收到post请求之后,为map添加一个timestamp字段,值为当前的时间戳(不依赖Spring的AOP)。 分析为了实现这个装饰器,我们首先需要知道这里的map是怎么获取到的,这里直接打一个断点进入堆栈,对接口发送图中的请 2025-09-04 #DesignPattern
HugeGraph重构-store-gRPC模块解析 hg-store-rpc模块本模块采用了gRPC作为通信协议,为了更好的了解rpc的过程,我们需要先了解一下什么是gRPC。 什么是gRPCRPC,全称Remote Procedure Call,中文译为远程过程调用。通俗地讲,使用RPC进行通信,调用远程函数就像调用本地函数一样,RPC底层会做好数据的序列化与传输,从而能使我们更轻松地创建分布式应用和服务。 而gRPC是RPC的一种,是由Goog 2025-07-13
HNSW论文笔记 HNSW 层次化可导航的小世界背景就不一一解释了, 主要是为了解决相似性查找的问题。 相关概念介绍1. Proximity GraphProximity Graph 的主要思想是,随机选取一个开始节点, 从这个节点开始搜索它的邻居,找到邻居中和目标节点距离最近的一个, 再以这个邻居开始进行下一轮迭代。 思路很简单的同时,存在着非常多的问题,最为关键的就是搜索复杂度无法确定,孤岛效应难以解决,以及构 2025-05-11 #DataBase