背景

随着移动互联网的普及， 以及各种超级APP的出现， 每个公司都对数据收集以及充分挖掘数据的价值非常看重，并几乎不计成本地投入。 在每个公司， 无论是实时的BI报表统计分析， 通过实时数据的异常监控， 还是根据用户的实时反馈进行算法效果模型预估，在各个公司都有非常多的应用，并对公司业务效果的保障有着巨大的影响和贡献。

当然， 随着近些年各种开源软件，平台的出现， 特别是以hadoop为起点的开源组件，使得各公司都能够基于这些组件，以及各大厂的云计算快速搭建自己的大数据平台，包括实时数据处理系统。

这里八卦下自己的看法， 个人觉得这些年百度相比于阿里，百度的技术其实是在退步的（虽然我在百度工作了很多年，百度是我的老东家）， 我觉得一个主要的原因就是百度的系统太封闭。这在早些年， 在开源社区还不活跃， 大家都需要自己封闭造轮子的时代，这个时代就比拼各个公司自己的技术能力，彼时以工程师为主导的文化， 的确让百度技术领先阿里一大截。 记得10年前，我们都特看不起阿里的技术，就觉得阿里没有技术， 就业务好。 甚至业界还没提云计算的时候， 我们在百度内部， 大家的开发机就已经是以虚拟账号的方式分配资源了。相当于内部已经开始某种意义上上云了。
但后来随着开源社区的兴起， 百度这样连STL都自己重新写一套的模式就慢慢跟不上节奏了： 开源社区结合了各路神仙的才智，对各种大数据组件进行打磨，这也是开放带来的牛逼之处。

通过近两年对老东家百度出来的同学的面试深深由此感觉， 百度甚至内部跑数据还在自己写各种MR，感觉跟我2013年还在百度的时候没啥区别。。。。

扯了那么多，就是想说各种中间件的大数据处理组件，还是需要开放生态，才能有竞争力。国家都需要开放，更别说公司技术。

此处就为大家介绍我们团队为了降低实时数据计算的成本， 构建的‘基于Blink DataStream的实时数据配置平台’，从思路上介绍我们是如何满足各种纷繁多样的基于LBS的实时数据计算需求的。希望对大家有借鉴作用。

同时打个广告： 团队长期招p6~p9数据，工程，算法； 业务发展快。 感兴趣的同学可直接关注以下公众号获取岗位信息：

解决问题

移动互联网目前已经发展到近乎巅峰状态，各个大厂都有自己主打的超级APP，头条各种基于内容的kill time app，腾讯， 阿里淘宝，包括高德都是DAU过亿的超级应用。 这些应用也时刻在产生海量的用户数据。 很多场景都需要对这些数据进行实时处理， 包括：

1. 用户行为反馈后，进行BI实时报表计算&分析&财务结算
2. 系统监控，包括业务效果的监控。
3. 实时特征生成供模型实时使用，例如搜推广的ctr,cvr，实时反作弊等

这个过程中， 实时计算就是一个绕不开的话题， 而且每个场景都会有非常多的定制化需求。

图：广告系统业务端到检索端的基准+实时增量数据同步

图：实时反作弊，需要实时对用户点击反馈进行反作弊计算。

以上两个广告的例子，广告系统业务端到检索端数据同步，以及实时反作弊，都会涉及到较多的实时计算。

挑战 & 实现

在我们的场景， 对实时计算有以下要求：

1. 实时性： 实时计算的延迟很多场景需要缩短到毫秒级别，才能在很多场景满足用户需求。例如:广告实时性能力建设 《风向标逻辑》
2. 极低的接入成本：理想情况希望业务方的工程OR算法就能通过平台操作攒出满足自己需求的实时数据计算，满足自己的需求。

基于以上两个要求， 我们定制了基于Blink Data Streaming的实时计算配置平台。
Why Blink? 很简单，flink在实时计算很有优势，流批一体， 且Blink基于flink，是阿里的。
Why Data Streaming：Data Streaming更底层，可以做更深层次的定制和性能优化。

图：基于Blink Data Streaming的实时数据平台架构

在具体实现的时候。 我们将系统抽象成以下几层：

数据层
其功能是对各种来源的数据，按照规范进行数据的normalizing， 因为高德是LBS场景， 所以所有的原始数据实时进入系统的时候， 都会被规范化为<time, location, userid, object, event>， 也就是时间地点人物事件，以及事件处理到的对象。
此处的userid及object并没有带维度属性，维度属性由离线batch逻辑生成。 并在引擎层进行id和维度属性的自动关联。

引擎
此处的引擎主要有两个作用：

1. 定义算子： 我们使用blink 的data streaming api开发并优化了常用的实时数据算子， 以便引擎能够将各种算子攒成任务， 此处的算子可以灵活定义并根据需求开发， 类似于一个faas平台。
2. 任务调度： 单个算子仅进行实时数据的一步原子计算， 需要引擎层中的任务调度， 根据上对层平台计算任务配置的解析， 组合成完成整个实时计算逻辑的task任务。 此处比较像tensorflow在运行时， 将各个operator按照有向无环图编排任务进行计算的过程。

服务层
服务层的两个作用：

1. 任务配置： 负责给平台使用者提供UI，以便用户进行任务的配置。目前开源有很多这样的配置管理组件可以使用， 我们内部使用Diamond平台
2. 资源状态管理： 从系统的角度对任务进行调度， 资源分配。

效果

目前我们团队开发的实时计算平台已经在各个业务中使用， 初步实现了配置化实时任务的生成， 启动，管理， 监控。 连写blink sql都免了， 用主要负责开发的同学的话说： '该平台再完善完善， 写blink sql的同学也可以失业了。。'

如果你对我们的工作感兴趣， 可以联系我们， 需要更多同学进行类似平台的建设和完善。

参考文献

1. 广告实时性能力建设
2. 在高德吃喝玩乐！LBS信息的AI技术应用

背景

说搜推广的时候，我们会用到很多的模型来对效果进行预估，包括ctr的模型和cvr模型。这就会涉及到使用对应的指标，对模型的效果进行衡量。

一般情况下，我们使用最多的指标就是auc，因为auc可以来评判排序的效果好坏。很多时候我们也会使用auc来评判广告中的ctr或者cvr模型的好坏。而且一般我们在特定的场景也会有一个auc和线上效果的大致转化关系。例如，我们会有这样的经验：线下auc提升一个点，线上的收入提升n个点。不同的广告平台会有很大差异。

但是随着广告效果的精细化，以及引入了更多的机制，这样的模式就会存在明显问题。例如对于cpc产品我们的rpm的预估收入公式是：ecpm=ctr*bid。这就要求我们不仅要保证预估ctr的排序正确，同时需要保证ctr预估的值也足够的准确。

这就是搜索推荐与广告在对于ctr预估的准确度上的区别：搜索推荐只考虑排序的正确性，但广告需要考虑ctr预估的准确性

解决广告ctr预估准确性的手段主要就是两种，第一就是让模型足够准确，狂怼模型预估能力；第二就是增加合理的校准逻辑。

这个地方再详细展开说一下，为什么广告中对于预估的准确性那么重要，主要由以下几个原因：

1. 只有ctr足够准收入，收入预估才足够准， 如上 ecpm=ctr*bid
2. 还是ecpm=ctr*bid，因为本质上广告主关注的还是效果，roi，所以如果转化率预估的足够准，我们是可以对好的流量进行提价的，也就是增加bid，同样可以提升收入。 具体参见:CVR优化的重要性
3. 现在很多广告平台都同时支持cpc广告和ocpc广告混排，这就需要将不同模式的广告效果进行拉齐排序，也要求预估足够的准确，否则变现效果不可比.
4. 自然结果和广告需要进行混排，而且很多时候收入和自然结果的体验会有对应的量化折算关系，也要求预估足够准确。具体参见:多目标广告混排机制在超级APP中的技术

具体如何让ctr预估模型更加准确，可以参见:推荐系统，变现系统CTR&CVR预估算法演进－模型，更多的是介绍如何让校准更加准确。

校准的要求

一般情况下，校准是在预估打分之后，机制之前进行的。因为线上的计算逻辑较重，所以一般都希望校准能够相对简单，并且可解释。同时，最好校准逻辑不要跟有业务逻辑绑定，需要通用。

图：预估校准阶段，在排序机制4（预估）之后，5（机制逻辑）之前

正所谓没法衡量，就不存在优化，所以和所有的算法逻辑一样，校准也有对应的标准来进行效果的衡量。目前经常使用的衡量指标有如下三种：

PCOC：该指标的基本思想就是平均预估值/统计真实值；该指标逻辑相对简单，但是不能反映分布的差异。

CAL-N：该思路对PCOC进行分桶统计，不同桶上的误差会累计，相当于一定程度上体现了分布的值。具体的计算逻辑为：

$CAL-N=\sqrt{\frac{\sum_{i=1}^N error_i^2}{N}}$

其物理含义，就是单独计算分桶的PCOC（或error）， 然后求平均误差。

GC-N：该指标就更进一步，针对某一个特定的维度去进行加权，毕竟什么事物都有个优先级重要性。例如在广告中根据单元或者计划的pv或者收入去进行加权。具体计算逻辑为：

$GC-N=\frac{\sum_{j=1}^m w_j Cal-Nj}{\sum{j=1}^m w_j}$

其物理含义， 就是分某个维度后， 在维度上计算CAL-N，然后再进行加权汇总。 例如在广告系统中， 此处的维度可以是广告计划维度， 权重为该计划的PV或者消费。

具体实现

知乎上《阿里妈妈展示广告预估校准技术演进之路》 中介绍的已经非常详细，写的非常赞。我们团队也是借鉴了阿里妈妈的技术，所以这个地方就不详细展开，大家可以上知乎看看同学的文章写得非常详尽。 此处仅介绍传统的方法和我们团队借鉴的SIR方法。

传统校准方法

主要有以下3种：

Platt's Method
该方法的思路是对预估的值在使用实际的label进行一次参数化的映射，使用LR方式进行参数化学习。 校准函数为：

$f(x)=\frac{1}{1+e^{ax+b}}$

其中a,b为学习出来的参数。该方式优点是比较简单，且是学习出来的结果， 缺点是对于假设空间有过强的假设（认为是sigmoid函数）

Isotonic Regression
该方式的思路是使用一个单调函数来最小化预估值和label之间的square error，对结果进行保序的校准。 该方式隐含的假设， 是预估值至少能够保证预估顺序的正确性。 该方式的缺点，是处理不好预估值在突变的情况

Binning Method
该方式的思路， 是将预估值进行排序后分桶，然后统计正样本占比。

图：Smoothed Isotonic Regression(SIR)方法

具体的计算逻辑为：

1. line 1-3进行排序分桶
2. line 4-9对每个桶，计算预估样本上下界，以及正样本概率
3. line 11-23构建每个分桶的线性插值函数。
   之后，对于任意x，使用x所落在的空间，使用该区间的线性差值函数即可进行预估数值的校准。

该方式可以按天分小时进行计算，以便体现时间上的ctr值得差异， 特别是在LBS场景， 中午餐饮行业， 下午晚上的休闲娱乐酒店的分布还是有较大差异的。

线上效果

进行SIR校准后， 在我们的场景， 效果有5%左右的相对提升， 另外理论上该机制也能够更好地平衡CPC & OCPC广告的混拍。 所以先不管提升是多少， 就是一个需要去做的正确的工作 。

末了附上一句阿里土话：if not now, when? if not me, who? -- 此时此刻，非你莫属

还是先插个招聘信息： 急招推荐，搜索，语音算法，数据挖掘，工程人才，阿里P5~P9，欢迎推荐和自荐，微信扫码关注以下二维码了解详细信息

背景

在广告这个领域，CTR的优化有较为悠久的历史， 这些年也出现了较多系统性的优化方法， 包括样本如何选取， 各种模型的出现和创新，在整个领域都有较深的研究沉淀。 从事这个行业的同学也都较为了解。

但当CTR优化达到较高的水平，因为预估的ecpm=ctr*bid，收入的优化会逐渐达到瓶颈，此时如果要继续优化广告的效果，就需要加入其他更多的优化链路和环节，从更多的维度，更高的视角去进行整个系统的优化，其中非常重要的一个环节， 就是CVR的优化。

图：广告cvr在检索端位置

CVR优化的重要性

那CVR优化为什么重要？

下面就详细说下这个问题。
先补充个背景：我们可以认为， 广告和搜索&推荐这样的自然信息分发有本质区别的地方： 搜索&推荐这样的自然信息分发的主体是平台，平台完全自主决定了分发的机制； 但广告不一样，广告的主体是广告主，广告主会对自己的广告，也就是广告平台分发的内容增加约束（例如出价，定向条件，时段等），而各个广告主的约束总体又形成了带约束的竞争环境。
这些约束条件，就是广告分发和搜索&推荐分发的本质区别。

而从广告平台的角度，传统上我们认为平台能够调整的因素， 主要是CTR， 因为 ：

$ecpm = Q * Bid$

而且一般情况下，Q就是CTR，而Bid是广告主设定的，原则上Bid是广告主设定的，是不能改变的， 这就导致了广告平台能够直接影响的因素， 就是优化好CTR（其实也可以影响Bid，这个待会会介绍），将CTR预估做这也是为什么之前很长时间，大家提到搜推广，第一反应就是CTR预估。

但从本质上来说，广告平台的主体是广告主，广告平台需要满足广告主的目标诉求和约束， 广告主最终的目标还是转化和ROI（不同的投放任务可能还细微不同），而不是固定的出价， 所以近些年出现的各种智能出价，包括OCPC，OCPM，就开始考虑广告主的转化了： 如果认为对于广告主这个流量价值比较高，是可以动态调整Bid的，而流量价值如何判断，就依赖于准确的CVR预估。考虑了CVR后，流量的价值可以拆分为：

$ecpm=ctr\cdot cvr \cdot abid$

此处abid为广告主对一次转化的出价。

而CVR预估做准后有两个比较大的好处：

1. 就是能够进行动态调价，调Bid，直接增加单次流量的收益
2. 广告主转化/ROI得到保障后，会有更多预算的投入，让广告平台的整个竞争环境更加充分，有利于广告平台生态的良性循环

以上就是CVR预估为什么重要的原因。

CVR优化和CTR优化的异和同

相同点：都是标准的预估任务， 按照样本，特征，模型的思路死磕预估效果。 各种创新机制都可以搞。具体可以参见：推荐系统，变现系统CTR&CVR预估算法演进－模型

不同点：转化很多时候都不是立即发生的，都会有延迟，例如APP应用下载安装的归因，可能是7天，甚至更长； 淘宝的下单，也可能会有数天的延迟， 这就存在延迟归因的问题。 另外就是转化的数据一般都会比较稀疏，这就衍生出来不一样的建模方式， 例如阿里妈妈的

而对于延迟归因，主要的解决思路又是‘样本回补’策略，通过重要性采样（importance sampling）技术来进行样本的纠偏， 具体可参见老文章：移动端转化延迟相关CPI转化率模型建模方法，同时还有很多其他的方法来对转化样本进行纠偏。

参考文献

1. 移动端转化延迟相关CPI转化率模型建模方法
2. 推荐系统，变现系统CTR&CVR预估算法演进－模型
3. Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.
4. http://semocean.com

先插个招聘信息： 急招推荐，搜索，语音算法，数据挖掘，工程人才，阿里P5~P9，欢迎推荐和自荐，扫码关注以下二维码了解详细信息

背景

近年大家会发现一个现象，行业中新的爆发性发展的创业公司在不断变少，最直接的原因应该是移动互联网的红利增长已经放缓，同时各个巨头也在使用不同的方式，将流量收口到自己的超级APP中，例如淘系的电商，社交的微信， 内容则为头条，线下服务则是美团。其他创业公司想通过某个领域切入，进行弯道超车，在技术缺少重大变革的情况下变得更加困难；另一方面，各个超级APP，无论是何种属性，解决用户的何种需求，也都在尝试着商业化，以便让自己的业务生态形成可造血的良性闭环。

当然各家超级APP在商业化的过程中，也都遵循着商业化一直的准则在构建良性生态，尽量避免使用吃药打兴奋剂的模式，伤害到生态中的任何一个环节。 总体上，在健康的商业生态中，都需要考虑C（Customer）端用户，B（Bussiness）端商家，以及P（Platform）端平台三方的利益平衡。其中C端重点要满足用户体验，解决用户痛点需求；B端主要是广告主的ROI，需要给他带来收益；P端在中间进行调整平衡，需要考虑生态的良性发展同时需要考虑收入。

同时目前的一个大趋势是超级APP中提供给用户的内容和服务已经多种多样，已经是多模态的内容提供，同时穿插着内容，服务和广告。 如何对这些内容进行最高效的多目标混合分发，就是需要重点解决的课题。
例如此处单独看自然结果和原生广告的混拍， 如何在保证体验不受影响（或者大的影响）的情况下提升广告收入，就是一个非常值得研究的课题。

本文会以作者在多个平台的广告经验，向大家进行目前的主流方案。原文参见semocean.com及微信公众号：semocean

混排问题分类

以出行超级APP高德为例，在高德中用户搜索后，会给用户展示匹配的POI list，该过程中，广告投放的POI会和自然结果的POI进行混排。此时就会面临自然结果和广告如何进行混排的问题。此时混排一般有两大类模式：定坑和非定坑。

• 定坑，简单来说定坑就是具体展示广告的位置，以及数量是固定的。该方式的优点是广告的数量，收入可控，而且自然结果和广告结果可以相对独立地进行优化； 缺点是广告质量和自然结果质量不能同一拉起，可能出现自然结果质量较好但出的广告质量很差，或者反过来的情况，导致用户体验或者广告收入受损
• 非定坑 ,非定坑则相反，逻辑会相对复杂，广告和自然结果需要统一优化，不管是工程架构上，还是算法上，要求都更高。但能够同时考虑广告和自然结果的质量，理论上收入上限会更高。 同时非顶坑也可以有多种方法，各种方法的复杂度也不尽相同。
  
  图：（1）为定坑3和6，（2）为动态定坑，隔2插1，（3）为加权混排广告A和B

具体方法

定坑

即广告坑位出现的位置，数量，都是事先根据业务需要，或者实验方式确定下来的。 属于计划经济类型。 类似百度凤巢说前3个坑位可以出广告， 或者某些超级APP上说放回结果list结果中第3，5，8位置上可以出广告。 当然这些位置上， 如果广告系统自己判定觉得在某些流量上广告总体放回结果较差，也可以不出，但这个判定也是广告系统自己进行的判定，主要会影响最终的PVR（出广告流量占总体流量占比）

动态定坑

动态坑位方式比定坑模式进了一部，相当于在出广告的时候，加入了一定的个性化因素，可以将问题定义为对于每次流量三个参数的优化[N,S,I]，其中N：出广告的条数，S：广告开始的坑位位置，I：广告之间的间隔。 根据每个请求的个性化信息，以及召回后的广告质量，来动态确定参数三元组的具体值。该方式能够在广告质量较高的时候，多出广告，且能够将广告排的更靠前

加权混排

该方式需要对自然结果和广告结果进行综合考虑，拉通排序的标准进行混排。本质上相当于需要将自然结果和广告结果的价值进行统一度量。简单来说的建模方式如下：
$v=\beta \cdot rankscore+ecpm$
其中$v$为同一价值度量，$rankscore$为作为自然结果的质量分，$ecpm$为预期的广告收入。其中$rankscore$由LTR模型进行预估。$\beta$为自然结果rankscore的权重
所以：

• 自然结果：相当于$ecpm=0$，仅考虑rankscore自然结果的质量分。
• 广告结果：广告结果rankscore一般偏低，但$ecmp=Q\cdot Bid$，相当于对广告的商业价值进行加权，一般情况下按照$Q=pctr$进行计算
  使用该方式就可以将自然结果和广告的价值度量进行拉起，之后进行统一排序。

  具体操作

  加权混排，在具体操作的时候，会面临以下几个问题：

  1. rankscore和ecpm一般都不是相同分布的，具体的值不能直接线性加权计算
  2. $\beta$ 值如何确定
  3. 如何计费

调整具体分布
因为rankscore和ecpm是两套相对独立系统的打分，所以理论上二者分布肯定不一样

【图：rankscore&ecpm为不同分布】

所以在排序前，需要将二者的分布拉齐，否则仅简单调整$\beta$值并不能解决问题。所以我们需要找到一个函数$f$，使得$ecpm=f(randscore)$，具体对两个分布进行插值可以求解。

$\beta$求解
这个就比较考验超参数调整的经验了，当然目前超参数的调整有较多的方法和开箱即用的框架。 一般现在较为常用的方法是贝叶斯优化（Bayesian Optimization）。 一般具体应用场景中，广告的实效性较强（受广告供给，预算等的限定，甚至很多APP分发的场景，每天的广告变化可能超过20%），所以该超参数调整很多时候需要做到准实时化。

计费方式
业界目前最常使用的方式，还是GSP方式的二价计费。其原理是扣费并不是直接按照胜出的广告的报价进行扣费，而是按照下一位广告的报价进行扣费，该方式的好处主要是简单，以及能够让竞价者能够按照自己内心的真实性进行报价（相对来说VCG会更加复杂）
经典的$cpc=\frac{ecpm_{i+1}}{pctr_i}$ 但在自然结果和广告混排的场景中，下一位可能是自然结果， 那如何进行计费？

思路是看下一个广告， 例如下一个当前广告假设为$A$，下一个广告为$B$，则：
$v_A=\beta rankscore_A+ecpm_A$ $v_B=\beta rankscore_B+ecmp_B$，则我们设计 :
$cpc=\frac{v_B-\beta \cdot rankscore_A}{pctr_A}$
其物理含义为：大思路仍然是GSP，但在进行扣费的时候， 广告主按照下一位广告的出价进行扣费，但会扣除掉自身因为自然结果体验值带来的位置前移。 相当于当前广告为了保持当前的位置，仅需要付出将结果从下一位值，提升到当前位置的钱。

端到端多目标模型混排

理论上来说端到端的结果是最好的方式，但该方式会导致自然结果排序和广告结果完全耦合黑盒化，提升了系统不可控的风险。 所以很多商业系统中都还不是这种方式。
而且自然结果体验和商业化变现目标的平衡，最后还是一个商业上的决策，并不是一个一尘不变的优化问题，例如如果一个上市公司有财报的压力，则可能会加大商业化的粒度，提升广告占比，或者在某段时间反过来更加注重用户的体验。

总结

总结下几种模式的优缺点：