YongYuan's Homepage

思路动机
LLM最新进展为推荐系统任务提供了有前途的新方法。当前最先进的方法依赖于微调 LLM 来实现最佳结果，但此过程成本高昂且带来了显著的工程复杂性。相反，绕过微调并直接使用 LLM 的方法资源密集程度较低，但往往无法完全捕获语义和协作信息，导致与经过微调的方法相比性能不佳。在本文中，提出了一种简单的无需训练的推荐方法 (STAR)，这是一个利用 LLM 的框架，可应用于各种推荐任务而无需微调。
comment: 这篇论文，提供了一个将语义与协同信息融合起来的视角，这是这篇论文提供的最大的启发性视角。...

MHA、MQA、GQA差异
MHA：Multi-Head Attention，QKV 三部分有相同数量的头，且一一对应。每次做 Attention，head_i 的 QKV 做好自己的运算就可以，输出时各个头加起来就行。
MQA：Multi-Query Attention，让 Q 仍然保持原来的头数，但 K 和 V 只有一个头，相当于所有的 Q 头共享一组 K 和 V 头，所以叫做 Multi-Query 了。

SIGIR 2022 Clustering based Behavior Sampling with Long Sequential Data for CTR Prediction paper reading分享时记录的笔记。
背景
对当前target item预估时，序列建模要解决的两个主要问题：

背景
搜索是一个以相关性为基础，辅助消费、权威、质量、时鲜等多目标的复杂系统。
各位看官在搜索引擎输入一个Query=“如何在mate 40上连接wifi”，我们优先考虑的是排序的doc是否与Query相关，根据相关的程度，可以有不一样的定义：