模型塔总结(热门9篇)

模型塔总结 第1篇

建筑模型制作是一项技术性和艺术性都很强的创作过程，它涉及到设计、建造、材料、美学、比例等多个方面。在制作建筑模型时，我们需要掌握一些基本技巧和知识，以确保模型的准确性和美观度。

以下是一些建筑模型制作的基本步骤和注意事项：

1.设计阶段：在这个阶段，我们需要理解设计图纸，确定模型的比例和大小，以及选择适合的材料和工具。

2.制作阶段：在这个阶段，我们需要根据设计图纸，使用不同种类的材料（如木材、塑料、石膏等）建造模型。同时，我们还需要考虑材料的强度、耐久性和可塑性等因素。

3.装饰阶段：在这个阶段，我们需要对模型进行装饰，包括添加细节、纹理和颜色。装饰应该与设计相匹配，同时也要考虑到模型的比例和大小。

4.模型测试阶段：在这个阶段，我们需要对模型进行测试，以确保模型的准确性和稳定性。测试可以包括检查模型的强度、检查模型的细节和纹理是否符合设计要求等。

5.模型展示阶段：在这个阶段，我们需要将模型展示给客户或团队成员，以获得反馈和建议。同时，我们还可以将模型用于教学、研究和展览等场合。

总的来说，建筑模型制作是一项需要耐心和技术的工作。我们需要不断地学习和实践，以提高自己的技能和经验。同时，我们也需要与团队成员和客户进行有效的沟通和反馈，以确保模型的准确性和美观度。

模型塔总结 第2篇

每个推荐系统都离不开标签，在推荐系统的稀疏场景下，标签数据尤为重要。以广告平台为例，推荐算法主要的服务对象是广告主，服务目标是为广告主提供更好的后端广告转换效果。这里涉及到两种建模。

一种是自然兴趣建模，根据用户在终端（手机）的操作行为获得 user-item 关联，给不同的数据源（物品）打标获得 item-tag 关联，然后将上面两种关联进行 join 操作最终得到 user-tag 的关联，从而实现给用户打上兴趣标签，相当于是从标签维度为广告主圈定投放人群。

另一种就是商业兴趣建模，在自然兴趣建模的基础上，从广告维度为广告主推荐人群，那么就需要业界熟知的DSSM 双塔模型了。

以 YouTube 视频推荐系统举例，推荐系统中有两个必不可少的流程，召回和精排。

召回对应了召回模型，主要是进行初筛操作，从海量视频资源池中初步选择一部分用户可能感兴趣的视频数据子集，从数量上看可能是从千万级别筛选出百级别。

精排对应精排模型，主要作用是对上面找到的百级别的视频子集进一步精筛，从数量上看可能是从百级别筛选出几十级别。然后根据得分高低排序，生成一个排序列表作为用户的候选播放列表从而完成视频推荐任务。

广告推荐领域中使用的 DSSM 双塔模型是从广告维度为广告主推荐一定数量的人群，从数量上看是从数亿级别人群中找出百万级人群用于投放广告，所以是召回模型。

模型塔总结 第3篇

本篇主要介绍了项目中用于商业兴趣建模的 DSSM 双塔模型。作为推荐领域中大火的双塔模型，最大的特点是效果不错并且对工业界十分友好，所以被各大厂广泛应用于推荐系统中。

首先，讲了下 DSSM 语义匹配模型的理论知识，最早是应用于 NLP 领域中用于语义相似度任务；然后，因为都是排序问题，所以引入到推荐领域。从朴素的 DSSM 双塔模型到各大长的双塔模型；最后，讲了下我们使用 DSSM 双塔模型实战到广告推荐场景。

如果你也喜欢这篇文章，还请多多鼓励

参考：

模型塔总结 第4篇

DSSM(Deep Structured Semantic Models)也叫深度语义匹配模型，最早是微软2013发表的一篇应用于 NLP 领域中计算语义相似度任务的文章。

DSSM 模型总的来说可以分成三层结构，分别是输入层、表示层和匹配层。结构如下图所示：

(1) 英文场景

英文的输入层通过 Word Hashing 方式处理，该方法基于字母的 n-gram，主要作用是减少输入向量的维度。举例说明，假如现在有个词 boy，开始和结束字符分别用#表示，那么输入就是(#boy#)。将词转化为字母 n-gram 的形式，如果设置 n 为 3，那么就能得到(#bo,boy,oy#)三组数据，将这三组数据用 n-gram 的向量来表示。

使用 Word Hashing 方法存在的问题是可能造成冲突。因为两个不同的词可能有相同的 n-gram 向量表示。下图是在不同的英语词典中分别使用 2-gram 和 3-gram 进行 Word Hashing 时的向量空间以及词语碰撞统计：

可以看出在 50W 词的词典中如果使用 2-gram，也就是两个字母的粒度来切分词，向量空间压缩到 1600 维，产生冲突的词有 1192 个(这里的冲突是指两个词的向量表示完全相同，因为单词储量实在有限，本来想找几个例子说明下，结果没找到)。如果使用 3-gram 向量空间压缩到 3W 维，产生冲突的词只有 22 个。综合下来论文中使用 3-gram 切分词。

(2) 中文场景

中文输入层和英文有很大差别，首先要面临的是分词问题。如果要分词推荐 jieba 或者北大 pkuseg，不过现在很多模型已经不进行分词了，比如 BERT 中文的预训练模型就直接使用单字作为最小粒度了。

DSSM 模型表示层使用的是 BOW(bag of words)词袋模型，没有考虑词序的信息。不考虑词序其实存在明显的问题，因为一句话可能词相同，但是语义则相差十万八千里，比如“我爱女朋友”和“女朋友爱我”可能差距蛮大的(这个小伙伴们自己体会)。

下图是 DSSM 表示层的结构：

最下面的 Term Vector 到 Word Hashing 将词映射到 3W 维的向量空间中。然后分别经过两层 300 维度的隐藏层，最后统一输出 128 维度的向量。

现在我们把 query 和 doc 统一转换成了两个 128 维的语义向量，接下来如何计算它们的语义相似度呢？通过 cos 函数计算这两个向量的余弦相似度就可以了，公式如下：

先说说 DSSM 模型的优点：

再说说 DSSM 模型的缺点：

模型塔总结 第5篇

user和item特征和结构上进行解耦，通过向量内积计算直接得到模型打分，具有以下优点：

（1）内积计算简单，线上资源和算力消耗相对较少

（2）user和item可以分开部署，也可以离线计算产出，因此模型可以做的非常复杂，而不用担心在线性能问题

因此，面临大量的候选集合，首先需要从中筛选出一部分满足条件的子集合，缩小筛查范围，双塔模型非常适合这种场景。

有上述优点的同时，也有相应的缺点：

（1）双塔模型主要问题是特征交叉能力受限：

（2）时效性问题：采用离线计算的话，会存在时效性问题，对新的user和item不友好

（3）迭代效率：user向量和item向量的版本同步影响迭代效率。因为每次迭代一个新版本的模型，分别要把相应user和item向量产出并完成部署，其本身迭代流程相对较长。

模型塔总结 第6篇

DSSM的召回分为u2i、u2i2i、i2i等等召回，这里以u2i召回举例说明。

在做DSSM的u2i召回时，考虑到用户量在亿级别，item在18w级，用户量庞大而物料库比较小，所以这里u2i的整体思路是用户向量在线生成，而物料库向量离线生成，线上生成的向量再用faiss与离线item embeding计算点积生成候选集。

（1）用户向量如何在线生成

双塔模型的两个塔结构时完全分离的，所以这里把user和item两个塔的模型分别输出，方便后续使用user模型线上生成用户向量。

（2）物料库向量如何生成

这里我们需要先构造包含所有物料的测试数据集（可以伪造一个用户信息和上下文信息，然后拼接物料库所有item数据来构造），然后predict测试集的时候输出物料塔的最后一层隐向量当做物料embeding。

模型塔总结 第7篇

如果只是曝光未下载当做负样本的话，那训练样本分布就和精排无异了，但实际上精排的样本是经过召回粗排等层层筛选过的，而召回面对的是庞大的物料库。所以，如果只是用曝光未下载当做负样本那线上线下的的样本分布就不一致了。

（1）随机采样物料库当做负样本

对于负样本的选取，大部分实验采用随机采样物料库当做负样本。这样能保证在召回的模型中见到不同的物料。

（2）参考word2vec中的正负样本采样概率

在石塔西《负样本为王》一文中，建议负样本采样时不完全是真的随机采样，其采样概率应该与物料热度挂钩，当热门物料做正样本时，要降采样；当热门物料做负样本时，要适当过采样，抵销热门物料对正样本集的绑架；同时，也要保证冷门物料在负样本集中有出现的机会。

（3）在batch内随机采样

但是我们在落地实践中，对于工程复杂度的考虑，选择了比较折衷的方案：针对每条正样本，在每个batch内采样m个负样本。该方案的实验成本极低，并证明了其有效性：千人曝光价值+14%，付费渗透率+29%

注意：这里有一个点需要注意，如果你的物料比较少，且头部效应比较明显，这种情况下在batch随机采样为负样本很有可能采样到正样本当做负样本，所以是不适合该方案的。这种物料足够少的情况下，物料大部分都出现过，甚至没必要进行负采样。

问题：但是以上三种方案都会存在，batch内随机采样会存在将正样本采为负样本的问题，如何解决？这里和同事一起合作尝试了三种负采样方案：

（4）伪负样本丢弃重采样

基于（3）之上的提升效果：千人曝光价值+，付费渗透率+

（5）伪负样本反转

基于（3）之上的提升效果：千人曝光价值+7%，付费渗透率+

（6）伪负样本反转&伪负样本赋权

基于（3）之上的提升效果：千人曝光价值，付费渗透率

模型塔总结 第8篇

（1）召回的评价指标

线下的评价指标如Recall & Precision & F1-score、HR@K、MAP等等。

线上的评价指标的话可参考业务指标，如千人曝光价值、付费渗透率、ctr等等。

（2）DSSM的item-embeding可视化

1）Embedding Projector画出item embeding图

2）利用networkX库画出权重图

模型塔总结 第9篇

总结了一些在dssm中可以做的创新点，总结如下：

（1）负样本选择：减少样本选择偏差

1）随机采样物料库当做负样本

2）参考word2vec中的正负样本采样概率

3）在batch内随机采样：千人曝光价值+14%，付费渗透率+29%

4）伪负样本丢弃重采样：千人曝光价值+，付费渗透率+

5）伪负样本反转：千人曝光价值+7%，付费渗透率+

6）伪负样本反转&伪负样本赋权：千人曝光价值，付费渗透率

（2）模型结构改造

1）dssm+senet：千人曝光价值+，付费渗透率+

2）dssm+FM/DCN/DNN：

3）多兴趣召回？？

（3）如何保证上下游目标一致性

TODO

（4）双塔种如何实现多任务间的信息转移

TODO

（6）召回融合策略：

u2i/u2i2i/i2i策略融合：（千人曝光价值+，付费渗透率+）