广告点击率预估是对每次广告的点击情况做出预判,给出点击的概率,是广告算法中最核心的技术;其结果受到行为,广告的自身质量、广告位置、上下文信息,以及广告主信誉等诸多因素的影响,有效地预测广告的点击率,对于提高广告变现能力有着至关重要的作用.
将收集到的用户行为、广告商品、上下文等各维度信息,利用大数据以及机器学习技术,计算出某一用户在当前场景下,对每个广告商品的点击概率,可以更好的识别用户意图以及后续行为;本项目使用京东九数商业分析平台独有的LRDNN算法,通过简单的配置,同时支持多种文件系统,提供数据shuffle,集群并行计算等多种功能;另外也预留了接口,方便开发新的算法;配套的调度以及监控server,更方便的解决使用中遇到的问题
广告点击率预估系统已在商业提升事业部站内、站外、搜索、推荐等多个产品线上使用,对于商品、图片等形式广告的点击效果提升明显
左边两张图分别是在搜索、推荐上的展现形式,图1是搜索“牛奶”的场景,第三条是广告;图二是“为你推荐”,为用户提供个性化推荐.
广告点击率预估是对每次广告的点击情况做出预判,给出点击的概率,是广告算法中最核心的技术;其结果受到行为,广告的自身质量、广告位置、上下文信息,以及广告主信誉等诸多因素的影响,有效地预测广告的点击率,对于提高广告变现能力有着至关重要的作用.
将收集到的用户行为、广告商品、上下文等各维度信息,利用大数据以及机器学习技术,计算出某一用户在当前场景下,对每个广告商品的点击概率,可以更好的识别用户意图以及后续行为;本项目使用京东九数商业分析平台独有的LRDNN算法,通过简单的配置,同时支持多种文件系统,提供数据shuffle,集群并行计算等多种功能;另外也预留了接口,方便开发新的算法;配套的调度以及监控server,更方便的解决使用中遇到的问题
广告点击率预估系统已在商业提升事业部站内、站外、搜索、推荐等多个产品线上使用,对于商品、图片等形式广告的点击效果提升明显
左边两张图分别是在搜索、推荐上的展现形式,图1是搜索“牛奶”的场景,第三条是广告;图二是“为你推荐”,为用户提供个性化推荐.
本项目是联合项目,是与平台产品研发部一起合作的
通过系统展现给用户的内容,需要是用户感兴趣的,而且每个用户看到的都不一样;通过算法把用户感兴趣的内容进行精准推荐,帮助用户快捷发现感兴趣的内容,增加用户粘度;
通过用户历史行为海量数据分析,综合素材历史反馈情况、素材中商品质量、素材发布者质量、素材发布时间、以及用户偏好等相关信息,给出用户对于每一个素材的点击概率,指导后续rank阶段的排序,使得用户浏览次数增加,提高用户体验
获得相关训练日志后,只用了约三个工作日的时间,完成了数据处理、特征分析、模型训练等工作,离线评价指标auc为0.869,模型已交付给平台产品研发部;后续优化工作交给平台产品研发部相关同事负责
提供模型的同时,我们还提供了一系列线上服务解决方案,只要调用方按照接口进行线上请求,即可得到预估结果;负载均衡以及高并发问题,对于调用方可以认为是透明的,可以高效快速的将线下效果应用于线上,缩短项目周期
右图是“发现好货”相关截图,给用户提供个性化结果
本项目是联合项目,是与平台产品研发部一起合作的
通过系统展现给用户的内容,需要是用户感兴趣的,而且每个用户看到的都不一样;通过算法把用户感兴趣的内容进行精准推荐,帮助用户快捷发现感兴趣的内容,增加用户粘度;
通过用户历史行为海量数据分析,综合素材历史反馈情况、素材中商品质量、素材发布者质量、素材发布时间、以及用户偏好等相关信息,给出用户对于每一个素材的点击概率,指导后续rank阶段的排序,使得用户浏览次数增加,提高用户体验
获得相关训练日志后,只用了约三个工作日的时间,完成了数据处理、特征分析、模型训练等工作,离线评价指标auc为0.869,模型已交付给平台产品研发部;后续优化工作交给平台产品研发部相关同事负责
提供模型的同时,我们还提供了一系列线上服务解决方案,只要调用方按照接口进行线上请求,即可得到预估结果;负载均衡以及高并发问题,对于调用方可以认为是透明的,可以高效快速的将线下效果应用于线上,缩短项目周期
右图是“发现好货”相关截图,给用户提供个性化结果
如何将机器学习算法结合已有的历史数据,应用在销量预估中,从而辅助相关人员决策,是本项目的重要议题。我们基于机器学习技术,通过时间序列分析和机器学习模型相结合,自动学习并预测结果,完成商品出库量、商品销量预测
如何将机器学习算法结合已有的历史数据,应用在销量预估中,从而辅助相关人员决策,是本项目的重要议题。我们基于机器学习技术,通过时间序列分析和机器学习模型相结合,自动学习并预测结果,完成商品出库量、商品销量预测
让你的 ROI 飞增的秘诀 -- 商品推荐
吸引更多购买
更精准和实时地捕捉用户意图,借助于业界领先的算法和高效的实时推荐系统,动态地追踪用户的浏览、点击、下单等行为,抓取用户实时购物倾向,及时为用户呈现其想要的商品
触达潜在客户
提升广告收入和用户体验,利用大数据技术和深度学习技术,各个维度的数据借助于模型算法的融合,更好的挖掘用户购买意图,精准全面刻画用户画像,从而提高转化率成交额等数据
本地化和潮流化
模型的优化与逐步完善,为了保证整体效果最优,扩展训练数据,推荐采用本地化和潮流化特征建模,结合用户的session,快速响应;推荐商品适应不同的要求
推荐无处不在
各个推荐位的接入,涉及到APP、PC、微信、手Q、M 站等多个业务
让你的 ROI 飞增的秘诀 -- 商品推荐
吸引更多购买
更精准和实时地捕捉用户意图,借助于业界领先的算法和高效的实时推荐系统,动态地追踪用户的浏览、点击、下单等行为,抓取用户实时购物倾向,及时为用户呈现其想要的商品
触达潜在客户
提升广告收入和用户体验,利用大数据技术和深度学习技术,各个维度的数据借助于模型算法的融合,更好的挖掘用户购买意图,精准全面刻画用户画像,从而提高转化率成交额等数据
本地化和潮流化
模型的优化与逐步完善,为了保证整体效果最优,扩展训练数据,推荐采用本地化和潮流化特征建模,结合用户的session,快速响应;推荐商品适应不同的要求
推荐无处不在
各个推荐位的接入,涉及到APP、PC、微信、手Q、M 站等多个业务
1.APP虚假下载激活识别
作弊场景:
APP下载的推广主要由各个推广渠道负责,包括各大应用市场,第三方APP投放的下载广告,地面渠道推广等。推广者每完成一次APP下载并激活,即可获得相应的推广费用。为此,作弊者通过制造大量虚假虚激活骗取推广费用
作弊手段:
使用模拟器以及群控软件安装并激活APP、使用手机刷机软件进行APP预安装、在用户手机上埋入恶意代码进行APP后台静默安装以及使用人肉安装激活等方式进行作弊
解决方案:
采样APP激活数据及用户浏览行为数据,使用统计方法提取特征,采用聚类分析和label model融合方式,多角度分析APP激活是否正常,能够识别市面上存在的各种APP虚假激活手段。
2.广告虚假流量识别
作弊场景:
广告带来的站外流量引入主要由各媒体合作方负责,包括各类门户、新闻、垂直类网站,以及各大广告交易平台,媒体通过虚假点击来骗取流量推广费用,或者制造较高的转化效果以彰显媒体质量,提高合作筹码
作弊手段:
使用各种模拟器进行机器点击、使用后台服务器发送虚假点击请求以及人为针对某一资源位的恶意点击等
解决方案:
采样点击行为数据、地域数据等,构建多维度的统计特征,采用多种异常检测方法发现点击中存在的异常。
3.CPS订单劫持识别
作弊场景:
cps合作模式为特殊的广告合作模式,通过在推广链接中埋入参数,当用户点击推广链接时会在用户浏览器中种上推广者的cookie,用户下单时将cookie传入订单中,从而根据订单中的cookie为推广者分佣。为此,联盟站长过流量劫持的方式,将不属于自己的流量通过恶意手段种上自己网站的cookie,当用户下单并完成后,得到CPS分成
作弊手段:
链路层劫持——即劫持者在网络监听到一个正常的京东域下请求时,将请求重定向至劫持者自身的CPS链接、客户端劫持——即劫持者在用户的客户端、浏览器中植入恶意代码,用户访问任何页面时均可能带上劫持者的cookie、Cookie Stuffing——即劫持者在自身网站上部署特殊代码,把特定的Cookie植入至访问者的电脑中
解决方案:
通过分析用户的点击、行为日志,采用多种算法检测流量来源是否异常,并同时采用主动探测的方式探寻链路层的劫持。
1.APP虚假下载激活识别
作弊场景:
APP下载的推广主要由各个推广渠道负责,包括各大应用市场,第三方APP投放的下载广告,地面渠道推广等。推广者每完成一次APP下载并激活,即可获得相应的推广费用。为此,作弊者通过制造大量虚假虚激活骗取推广费用
作弊手段:
使用模拟器以及群控软件安装并激活APP、使用手机刷机软件进行APP预安装、在用户手机上埋入恶意代码进行APP后台静默安装以及使用人肉安装激活等方式进行作弊
解决方案:
采样APP激活数据及用户浏览行为数据,使用统计方法提取特征,采用聚类分析和label model融合方式,多角度分析APP激活是否正常,能够识别市面上存在的各种APP虚假激活手段。
2.广告虚假流量识别
作弊场景:
广告带来的站外流量引入主要由各媒体合作方负责,包括各类门户、新闻、垂直类网站,以及各大广告交易平台,媒体通过虚假点击来骗取流量推广费用,或者制造较高的转化效果以彰显媒体质量,提高合作筹码
作弊手段:
使用各种模拟器进行机器点击、使用后台服务器发送虚假点击请求以及人为针对某一资源位的恶意点击等
解决方案:
采样点击行为数据、地域数据等,构建多维度的统计特征,采用多种异常检测方法发现点击中存在的异常。
3.CPS订单劫持识别
作弊场景:
cps合作模式为特殊的广告合作模式,通过在推广链接中埋入参数,当用户点击推广链接时会在用户浏览器中种上推广者的cookie,用户下单时将cookie传入订单中,从而根据订单中的cookie为推广者分佣。为此,联盟站长过流量劫持的方式,将不属于自己的流量通过恶意手段种上自己网站的cookie,当用户下单并完成后,得到CPS分成
作弊手段:
链路层劫持——即劫持者在网络监听到一个正常的京东域下请求时,将请求重定向至劫持者自身的CPS链接、客户端劫持——即劫持者在用户的客户端、浏览器中植入恶意代码,用户访问任何页面时均可能带上劫持者的cookie、Cookie Stuffing——即劫持者在自身网站上部署特殊代码,把特定的Cookie植入至访问者的电脑中
解决方案:
通过分析用户的点击、行为日志,采用多种算法检测流量来源是否异常,并同时采用主动探测的方式探寻链路层的劫持。