网易首页 > 新闻中心 > 正文

一点资讯田超出席WOT:深度透析兴趣引擎背后的点击反馈平台

2016-11-28 15:20:09 来源: 华龙网-重庆晚报 举报
0
分享到:
T + -

(原标题:一点资讯田超出席WOT:深度透析兴趣引擎背后的点击反馈平台)

日前,由51CTO传媒精心打造的WOT2016大数据峰会在北京盛大开幕。本次大会议题涵盖实时计算、机器学习、等九大数据领域前沿技术专场,百度大数据平台架构师侯珏、HBase核心贡献者 Ted Yu、一点资讯大数据平台研发总监田超等应邀出席并发表演讲。

一点资讯大数据平台研发总监田超发表演讲

在大会现场,一点资讯大数据总监田超深度透析用户点击反馈背后的系统设计,并以一点资讯实时反馈平台为例,分享了支撑一点资讯亿级别用户实时计算系统的设计理念和心得。

他表示,实时的数据处理能力对于一个现代互联网公司来说是必要的组成部分,一点资讯作为一家融合了“搜索”和“推荐”的兴趣引擎平台,根据不同场景、频道下的点击反馈形成数据矩阵,对数据进行深层次挖掘,并通过大规模实时点击反馈系统和大规模机器学习进行智能推荐,从而为用户提供兼具共性与个性的移动价值阅读,实现了用户体验的提升。

以下是演讲节选:

大家好,很高兴今天与大家分享一点资讯关于大数据技术的一些心得。作为近两年来在移动资讯领域发展最快的公司之一,目前,一点资讯的日活达4800万。此外,我想在这里特别强调的是,一点资讯主动订阅用户数已达4700万。作为一家融合了搜索和推荐的技术驱动资讯平台,与单纯被动根据用户历史记录进行推荐不同,我们更注重自由订阅来给予用户主动表达的出口,通过全网化的智能客户端,不仅为大家带来有趣、有料的新闻,也更提供有用、有品的资讯。

实时点击反馈平台打造最佳推荐服务

上图是今天我们主要讲的,点击反馈相关推荐的部分。主要包括两个,左手边叫Neo的系统是今天的主题,也就是点击反馈计算平台。

因为这次论坛的主题是实时计算,所以我们也回顾一下整个推荐系统里面实时计算所涉及的三个方面的应用场景:第一部分是实时画像中的后验指标,包括了用户画像,内容画像和频道画像等。第二部分,应用场景是我们实时的数据分析,让我们在做不同实验时,了解到不同人群、文章点击率的变化。第三部就是在线的机器学习,后面我会详细介绍。

值得注意的是,虽然推荐服务系统为我们带来很多便利,但同时也面临不少问题和挑战,下面我将从一点资讯的平台为例,为大家分别阐述五个方面的主要问题以及解决方式。

问题1:如何统一各种近似的实时Pipeline

第一个问题就是近似的pipeline大家怎么样去统一?做实时计算时,大家常常发现你的Storm、spark跑着各种各样相近但又不同的作业,这些作业中80%运算是相同的。

在一点资讯内部,我们设计了一套叫Neo的点击反馈平台系统,统一了主要的实时点击反馈计算逻辑。Neo系统的核心数据结构是一个Multi-Dimensional Matrix,用以描述用户在各个维度和粒度的兴趣属性和基础属性两部分,可以在不同维度和数据粒度上进行各种聚合运算。其次,我们围绕着核心数据结构构造了整个运行时的framwork,可以支持用户自定义自己的算子。

问题2:实时计算和离线计算的统一

第二个问题说实时计算和离线计算怎么样统一?

实时计算与离线计算的统计是流式计算领域里的研究热点之一,对于我们的生产工作来说也有着比较重要的实际意义,市面上有一些开源和技术和论文包括Spark、SummingBird、Google DataFlow等都对如何实现有自己的解决方案。一点资讯采用的是Lambda architecture,对于核心计算逻辑有一套统一的数据结构抽象和计算算子抽象。我们本质上处理的是事件流在不同矩阵上以不同粒度聚合的问题,这里尤其是对于矩阵的Delta和Base之间的计算,我们给出了一套比较完整的抽象。这一套核心代码可以同时跑在Storm/JStorm, Spark、Mapeduce上。

问题3:数据变化如何追踪与Debug

我们的平台除了考虑到了上面所述的数据结构和计算模型外,还考虑到了时间的因素。时间是一个非常重要的维度,对于我们的计算引擎也是一个挑战。总结来说,包括这几个问题:不同类型的Feature需要不同的淘汰策略,需要能够计算各种时间周期上的feature、需要能够知道数据历史变化的状态、数据分析需要追踪指标变化曲线。

对于这些问题,我们构建了比较完整的windowing modol的实时计算模型:在hbase上存储细粒度的delta数据,这一部分的数据是实时更新的,每次更新时计算pipeline会通过kafka写入一个WAL,有一个Pusher组件会监听这个WAL,并可以根据自定义的策略对不同的数据表采用不同的window计算模型;在pusher层面,支持各种时间窗口淘汰策略,包括Fixed window,session window,sliding window,decay,last value win等,

问题4:高性能存储引擎

一点资讯在高峰期产生的2M+QPS的读请求,和200K+的更新量,因此对我们线上的分布式存储系统会有比较高的性能要求,市面上线程的分布式存储方案都不能解决我们面临的问题。

因此我们开发了自己的分布式存储系统NeoDB,底层基于Rocksdb,上层使用ThriftRPC,我们对系统层次做了很多的优化,,包括把一些部分计算可以推到最底下节点上、减少Compaction的层次,控制Compaction对于读请求的影响、控制写放大,优化缓存命中率等。

问题5:如何监控和维护整个系统

最后一个问题怎么样做监控和维护整个系统。这里面涉及到一些问题,主要包括怎么对数据流lag做监控报警。对流式计算如何做profiling,线上如何做负载均衡等。我们针对这些问题开发了两个系统,一个是监控我们做了YMetric的监控系统。客户端兼容codahale metrics库,会将metric汇总发送到Kafka中,并由我们统一的Storm Pipeline进行聚合计算,结果存储在openTSDB之中。我们的这套系统支持多Metric的自定义计算、报警、Trending预测等。

另外一个系统是ycluster服务,她有点像Apache Helix,但是我们做的更为简单易用,YCluster是一套基于Zookeeper的分布式负载均衡和机群管理系统,支持Multiple Service Namespace、Hash Sharding、Multiple Replica。同时我们基于YCluster做了Neo系统的Smart Client,通过这套Smart Client完成路由和负载均衡的工作,我们支持多种不同负载均衡的算法,包括简单的Random和Round-Robin、,同时我们做了一个叫做link Scheduler的负载均衡的算法,可以支持多数据中心中的本地优先调度,并支持相同副本的优先调度,从而大幅度提升了缓存命中率。

我们这套东西大概线上跑了一年多了不到两年,目前承担了一点资讯一直以来快速服务的增长,这里面就是今天我跟大家介绍的东西,另外补充一点是说,我们也欢迎对一点资讯感兴趣的同学加入进来。

(原标题:一点资讯田超出席WOT:深度透析兴趣引擎背后的点击反馈平台)

netease 本文来源:华龙网-重庆晚报 责任编辑:王晓易_NE0011
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

喀什疏附县亲历:忽然被通知不能出家门,游客也走不了了!

新闻 疏附县 喀什
|
健康时报网
17小时前
42531 跟贴42531

投票日临近 美国大选进入最后阶段

新闻 拜登 唐纳德·特朗普
|
央视新闻客户端
12小时前
4118 跟贴4118

截至10月25日24时新型冠状病毒肺炎疫情最新情况

新闻 新型冠状病毒 肺炎
|
健康中国
7小时前
2937 跟贴2937

陈全国在喀什地区调研疫情防控工作

新闻 陈全国 喀什地区
|
天山网
12小时前
8 跟贴8

中国共产党第十九届中央委员会第五次全体会议在京召开

新闻 中央委员会 中央政治局
|
新华视点
15小时前
395 跟贴395

厅官不信组织信“神婆”?贪腐没有护身符!

新闻 贪腐没有护身符 党员
|
上观新闻
19小时前
24 跟贴24

行拘!男子为逃单报假警谎称感染新冠

新闻 报假警 行拘
|
四川电视台
5小时前
69 跟贴69

美国参议院通过最高法院大法官巴雷特关键程序性投票

新闻 巴雷特 参议院
|
央视新闻客户端
12小时前
1836 跟贴1836

亚美尼亚和阿塞拜疆同意26日起在纳卡地区实施停火

新闻 阿塞拜疆 亚美尼亚
|
央视新闻客户端
8小时前
71 跟贴71

深圳压路机下坡失控撞向早餐店 撞死一食客

新闻 早餐店 压路机
|
深圳大件事
6小时前
702 跟贴702

观察者网:美国再打过来我们还“过不过鸭绿江”?

新闻 鸭绿江 抗美援朝
|
观察者网
5小时前
0 跟贴0

美轰炸机刚进驻关岛,就现踪台湾附近海域

新闻 轰炸机 关岛
|
环球时报
8小时前
0 跟贴0

为何喀什138例新冠感染者均无症状?专家:可能因发现较早,未来

新闻 症状 感染
|
环球时报-环球网
15小时前
7370 跟贴7370

网警教你如何管理手机APP的权限

新闻 手机app 网警
|
首都网警
1小时前
1 跟贴1

印政客声称“莫迪已决定何时会与中巴交战”

新闻 莫迪 中印
|
环球网
4小时前
19 跟贴19

联播+ | “十四五”怎么干?习近平明确这些要点

新闻 习近平 联播+
|
央视网
15小时前
36 跟贴36

国产大飞机C919将全球首秀

新闻 c919
|
中国江西网-信息日报
5小时前
0 跟贴0

试射S400防空导弹,土总统回击美国威胁:尽管制裁!

新闻 s-400 防空导弹
|
环球网
5小时前
5 跟贴5

考上北大奖10万!贵州一学生从北大退学后又考上,学校这次却不愿

新闻 育才学校 北大
|
百姓关注
21小时前
38270 跟贴38270

中国脱发地图出炉,这里的人最秃

新闻 社会 脱发
| 网易数读
1天前
401 跟贴401

女子玩密室逃脱被要求脱内衣喝酒,还要躺地抓胸部,不做不过关

新闻 密室逃脱 游戏
| 悄悄围观
21小时前
979 跟贴979

美海军撞民宅遇难的教练机飞行员:两人都是女性

新闻 教练机 警卫队
|
环球网
4小时前
1 跟贴1

迪卡侬,为什么是当代成年人的迪士尼乐园

新闻 迪卡侬;宜家;迪士尼乐园;产业链;成本控制;峰终定律;白嫖;
| 网易浪潮工作室
16小时前
3843 跟贴3843

中国女排,太狠了

新闻 中国女排 女排
| 网易槽值
2天前
49 跟贴49

闲吟客:拜登失言,可能功亏一篑

新闻 拜登 共和党
|
观察者网
22小时前
303 跟贴303

《为了总书记的嘱托》 第一集:励志求变

新闻 为了总书记的嘱托 励志求变
|
央视网
15小时前
12 跟贴12

鄞州这套4层别墅,起拍价仅1元!背后的案件令人震惊...

新闻 别墅 雅园
|
宁波晚报生活号
1天前
0 跟贴0

在全球封城时间最长的城市里,我从自行车上找自由

新闻 封城 墨尔本
| 看客
4小时前
0 跟贴0

北京:约3120人抢一个普通车指标 难度再创历史新高

新闻 小客车 摇号
|
北京青年报
5小时前
576 跟贴576

轻松一刻语音版:谁能想到,谣言竟然对一棵树下手了

新闻 迎客松 谣言
| 轻松一刻
2天前
1574 跟贴1574

菲律宾陆军将采购以色列轻型坦克和装甲车

新闻 轻型坦克 装甲输送车
|
环球网
4小时前
2 跟贴2

阿塞拜疆总统:阿军并未想过进入亚美尼亚境内

新闻 亚美尼亚 阿塞拜疆
|
环球网
4小时前
0 跟贴0

俄罗斯油轮在亚速海发生爆炸10人获救3人失踪

新闻 亚速海 俄罗斯
|
环球网
1天前
422 跟贴422

答应我,千万别嫁山东男人

新闻 文化 城市
|
城市漫游计划
2天前
1622 跟贴1622

纽约时代广场这广告牌,惹怒伊万卡夫妇

新闻 伊万卡 唐纳德·特朗普
|
环球时报
15小时前
791 跟贴791

上海街头惊现“共享特斯拉” 1200元开一天?特斯拉官方回应了

新闻 特斯拉 分时租赁
|
每日经济新闻
1天前
4657 跟贴4657

“中国绝对是美国头号威胁”,首位印裔美国内阁级高官让印媒嗨了

新闻 美国 唐纳德·特朗普
|
环球网
15小时前
14 跟贴14

国内多地发布紧急公告!近期非必需不前往喀什市

新闻 喀什地区 喀什市
|
工人日报
5小时前
649 跟贴649

韩国三星会长李健熙继承人或将缴纳10万亿韩元遗产税

新闻 李健熙 李在镕
|
界面新闻
1天前
2141 跟贴2141

意大利深夜发生混战:数百示威者狂射烟花 警方以烟雾弹回击

新闻 意大利 孔特
| 海外网
5小时前
81 跟贴81

又翻车!特朗普集会惊现3名修女支持,网友:肯定是特朗普买的粉

华观海
2020-10-26 11:58:32

真以为中国不敢出手?外交部公开给英国上了一课,莫低估中国决心

海纳新闻
2020-10-26 09:03:49

一次充电跑656.8公里,再创记录,台铃豹子为何能挑战成功?

王文杰聊游戏
2020-10-26 09:24:38

有钱果然任性,嫌歼10太便宜,豪掷377亿美元购买180架西方战机

烽火营
2020-10-26 09:12:43

知名主持佟瑶,在河边“方便”不幸溺水身亡,哭昏厥的丈夫今怎样

体育课副班长
2020-10-23 18:56:09

杨丽萍3000万“月亮宫”被查,外表光鲜亮丽,里面太“肮脏”

体坛赛事风云录
2020-10-25 20:35:35

国军逃亡台湾后,那些来不及带走的姨太太去哪了?

侃侃历史官方
2020-10-26 09:08:36

我X,第一批90后已经不行了,被榨干了?

南叔说事
2020-10-26 01:44:19

“网上有人出到五万了,我该怎么办,只是想玩玩的”

专属生活管家
2020-10-25 15:52:30

我国首例女冻人展文莲,打算50年后"复活"与家人团聚,现状如何?

尘缘亦绝
2020-10-24 14:54:19

闹心!郑州男子花1500万买套精装豪宅,刚交房竟变成这样……

环球网资讯
2020-10-25 08:13:51

当你不想上班时,请看看这15张照片

放放陪你闯职场
2020-10-26 07:58:19

S10最大黑马SN挺进决赛,老板张康阳戴百万豪表助阵

快乐的聚奢网小呆
2020-10-26 09:43:55

从打骂华人到感谢中国,看意大利如何充当“变色龙”!

123军情观察室
2020-10-26 09:27:34

张柏芝大儿子被问三胎弟弟,回答扎谢霆锋心:妈妈弟弟才是亲人!

硅谷的动力
2020-10-26 10:29:40

国乒“第一美女”!美到令人窒息,24岁至今感情生活一片空白

体坛赛事风云录
2020-10-26 09:19:18

狂砍52分!CBA弃将彻底打疯了 险些掀翻卫冕冠军

体坛瞎白话
2020-10-26 08:22:30

南京水库事件:只有你一事无成,他们才会露出欣慰的笑容

世界你好
2020-10-26 13:53:09

中国反腐纪实:从保管员干到副厅级,监狱副所长都是她盘中菜,还想用怀孕逃死刑

我大知
2020-10-26 11:22:09

52岁周涛近照吓坏网友:不要让“伪自律”毁了你

囚徒健身
2020-10-25 17:21:28
2020-10-26 15:48:59
+ 加载更多新闻
×

【TED】阅读全世界

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回新闻首页