认识达内从这里开始

我们在前文中给大家简单分享了关于个性化推荐算法在不同内容运营平台上的表现形式，那么在其他的行业领域，个性化推荐都是如何来使用的呢?

下面，我们就通过案例分析来了解一下具体情况。

针对上边这些视频推荐里的挑战，我们来看看常见的工业界的做法，基本流程作为召回，然后筛选一部分侯选，然后做一个排序模型，很多大部分的公司都是这样做的。排序模型里会有一些统计特征、用户的画像，画像里包括DEMO的特征，还有基于内容标签的用户画像的特征，包括高微组合特征等等。如果从结构来讲的话，可以分为四个层次，最下面是数据层，然后是召回层，然后是一些特征工程的层次。在数据层面往往是ETL数据处理、采样。优酷做了大量不同的召回，经典的像CF，包括DNA的CF，还有Slim，还有基于明星的召回，基于热度热点和趋势的召回。特征是比如说Item的特征。包括用户画像常用用户搜索记录、浏览记录。模型也有各种各样的。这些都是蛮常见的做法。

这些做法对于刚才我描述的视频兴趣的表达还是有很多问题，我们可以具体看一下。比如从特征的角度，使用这些DEMO往往有一个特征，用户视频兴趣往往和用户的年龄、性别和地域关系不大，比如三线城市50岁男性和一线城市30岁的女性看的东西是差不多的。基于用户标签画像，常见的做法是基于这个内容的标签去生成一些用户的画像，基于一些统计方法，针对这些特征做一些高纬的组合，比如用DNN也好，在视频推荐场景里，特别是头部内容推荐的场景里，行为过于稀疏，数据噪声比较大的时候，在高纬空间组合特征往往效果不是特别好。因为所有空间是很大的，往往很复杂的模型并不是一个全局收殓，往往收敛到一个局部，会发现组合出来的特征是不太准确的。在噪声大，数据稀疏的产品i2i里往往超过很好，在场景噪声很大的时候，对于数据降纬的处理。当我们把空间投影到I空间里，通过时间积累有很多用户产生行为，这时候数据量就会大很多。所以识别出来之间相似度就会好很多。我们可以理解成某种降纬的降噪对于数据稀疏性和噪声过大一种降噪的处理。基于这个相似度再作为特征放到排序模型里。

导致一个问题就是很容易丢失很多重要信息，比如很多用户看有的是因为喜欢这个主演，有的是因为我喜欢这个类型，也有可能因为这个剧比较热，所以去看，但是并不喜欢这个类型。这个剧热度过了之后就不看了。所以在这种情况下没有办法很好的表述这些信息。另外一个问题，不同的用户群体对于全局也很难特点好的表示不同用户群体的信息。下面这个图是16年解释的现象，当你去计算C和I之间相似度的时候，在A的用户群体里相似度比较高，但是在B这个群体里相似度是零，因为没有看过I。当你算一个全局相似度的时候，它是这两个相似度的平均，对于B的相似度计算是不准确的，但是也只能解决一部分这样的问题。

另外往往力度过细，没有像标准这样有一定的扩展性，趋热是很常见的现象。比如哈利波特，像这样的大热片跟所有的相似度都很高，怎么做热点的打压也是一个问题。

下面介绍一下针对这些问题我们的一些尝试。首先还是认为要非常精细地去做好用户的画像是非常重要，传统做法以内容标签为基础产出大量内容标签、类目体系、导演演员，然后根据用户观看内容的行为，对于各个内容的标签分类产生一些用户的画像。传统的做法是基于统计的方法，并没有很细致的解决好这个问题。

为什么我们觉得做好用户兴趣画像很重要?我们解这个问题很大的挑战在于数据的稀疏性很高，数据里面的噪声很大。对于稀疏性高、噪声很大的问题，如果你用一个很复杂的模型去解这样N2N的问题，模型很容易受到噪声的干扰，所以这个效果往往不好。右边这个图一般做法是你的输入是用户的行为，用户的数据，输出就是给用户推荐。如果简单用一个MEDOL解决这个问题很容易受到噪声影响。因为现在虽然技术发展很快，但是很多模型没有我们想象那么强大。我们做法是把这些问题拆解成若干个子问题，不是把一个N2N的问题MEDO，而是拆解成若干个子问题，让MEDO解决更容易的问题，然后把人工的业务理解加入进去对这个问题做降纬和降噪，我们希望学到一个很准确的用户兴趣的表达，然后把用户的行为首先表现在用户兴趣表达上，把这个问题拆成两个问题，基于这个兴趣表达再去做推荐，拆成两个子问题，可以进行人工空间的整理、系统的建设、类目的建设，包括降纬降噪的处理。

这个思路并不新，学术界过去有很多工作，比如像CTR，基于这样模型可以更精细的把用户画像解的更准。近几年也有很多围绕这个方向有很多进展，我们尝试有几个工作，像CTPF工作，还有下面的工作，都是效果蛮不错的。

介绍一下在这个方向上的进展和尝试。它把概率分布的假设换成播送分布，更多假设这个数据分布更稀疏，更符合实际用户在视频观看里的一些规律，因为用户在视频观看的时候，所谓时间是有限，不论我对这个兴趣再高，我只能看有限的视频，所以分布是偏稀疏。播送分解的思路效果更好。

我们实际应用的时候和学术界的假设还是不太一样，我们除了视频文本信息，因为视频文本信息在实际工业运用里往往噪声比较大，我们视频文本信息，比如视频的抬头，视频的简介。往往多视频是有点标题党，抬头并不能很好表示这个视频所讲的。实际应用里有大量编辑团队对这个视频打了标签，标签的问题有时候偏主观，也有随机性的噪声里面，我们可以把这些因素用一个概率模型去MEDO出来，我们认为这种标签也有某种随机分布。

包括视频热度的维度，我们希望把热度维度单独拆开，希望能够看到哪些用户是比较喜欢热点的，因为这个东西热才去看的，哪些用户是真正因为这个东西的类型才去感兴趣看的。按照这样的思路，我们可以把视频文本的维度、标签的维度、搜索词的维度，比如主演、主角、配角、导演这些信息都可以进行一个独立的分布。EM迭代并不是全局收殓的方法，往往收殓到局部最优，我们需要做大量人工审核工作，做一个降噪的工作。审核以后把并不好的去掉，做第二次初始值，然后再做迭代，迭代以后会收殓。我们对这个方法做了各种实现上的性能上的优化，基于分布式架构，改造成一个分布式，让它可以处理优酷几亿视频和几亿用户的行为。

用户内容兴趣有复杂的规律，有些兴趣是长期，有些星期是短期的，当兴趣点满足了之后更追求多样性，过一旦时间又希望再看到这一类的内容，我们用了GRU的结构希望把用户兴趣时间维度上的信息能够学出来。网络输入是用户观看的ID序列，包括观看序列里标签的序列，经过GRURECNET，再经过多个输出接层。我们做了一个改进，用户观看序列是非常不等距的，有的用户观看是一个月只有一个行为，有的一天有很的行为，跟GRU假设不一样。除了增加采样的间隔以外，把GRU改成Time gatek。

刚才提到一个挑战很多用户的行为是比较有限的，我们对这些用户兴趣并不能识别很准，所以我们用了传染病模型建模的方式。中度活跃用户早期也是行为比较少的，我们可以看用户是怎么从早期行为稀少的阶段逐渐演变到中度活跃度比较高的情况。我可以计算一个用户各种兴趣点演进概率和演进的方式，基于这个预测用户将来会对什么感兴趣，根据这个去建模，把这个作为特征放到MODEL里，然后基于这个预测的概率做对用户兴趣的捕捉。

关于数据稀疏性的问题，最直接的解法就是通过随机流量有意识收集更多的数据，行为数据，包括交互数据。这里有一个问题，当其实数据是很稀疏的时候，当N×N的I2I的矩阵有很多元素很稀疏的，explore收集数据需要很多流量，代价很高。所以我们考虑NystromCUR，N×N矩阵可以用这个矩阵当中的C行，C是远远小于N的。所以沿着这个思路，通过statistical leverage score选择C个item。重点explore对于c个item有过观看的用户。只有C行是比较稠密的，C行数据是很准确的。当C行算的比较准的时候，还可以乘以N×N的矩阵。

另外可以构建一个HIN图，每个节点就是一个标签，按照标签的相似度去做迭代，通过迭代会收殓，下面是一个例子，可以像汽车建筑队、迷你卡车之类的，都是给小朋友看的视频，但是都是表达一类用户的兴趣点，可以通过这种方式找到更多用户的兴趣点。

特征交叉也是一个比较有趣的问题，算法模型能力有限，End2end模型精准capture个性化特征能力有限。最优解在非常高纬空间中，由于噪音与模型收殓能力问题，需人工辅助降低搜索维度。使用交叉特征的统计值，效果好于使用离散交叉裸id特征。结合业务理解，辅助模型更好capture个性化特征。结合统计量的variance进行噪声过滤。

这是在优酷个性化搜索排序里的模型，这个模型会分成若干个域，域内部是全连接，然后还有concat，还有域内信息的二次编码，还有稀疏全连接。

作者：李玉

来源：infoq

【免责声明】：本内容转载于网络，转载目的在于传递最新信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。