当前位置: 移动技术网 > 互联网>大数据 > LinkedIn张溪梦的分析哲学:大数据要做小做快

LinkedIn张溪梦的分析哲学:大数据要做小做快

2018年04月25日  | 移动技术网互联网  | 我要评论

漳州人事考试中心,电台情歌莫文蔚,羞辱尤娜攻略

LinkedIn的目标,是联结世界上所有的专业人士,让他们能够更有效率,更成功。目前,LinkedIn在世界范围内的用户已增长到2亿多,86%的财富100强企业正在使用LinkedIn的付费解决方案。在LinkedIn上一季度的1.61亿美元营收中,“人才解决方案”的贡献超过了一半。

这样的成绩背后,是张溪梦以不足60人的商业分析团队,通过集成数据架构、BI、数据挖掘和分析,支持70%现有的4000名LinkedIn内部员工,涵盖了研发、产品、市尝销售和运营等五个主要商业职能部门,包括公司的三大业务分支。

有人力资源专家甚至声称,LinkedIn Recruiter付费招聘服务(LinkedIn的旗舰产品, “人才解决方案”业务的核心)是“一枚核弹”,将凭借庞大的数据库,在今后的招聘市场获得无可企及的地位。

LinkedIn如何做到这一点?张溪梦抽丝剥茧,深入介绍了LinkedIn的分析哲学及其背后的技术支撑。

LinkedIn Corp商业分析部总监张溪梦(Simon Zhang)

1

LinkedIn Corp商业分析部总监张溪梦(Simon Zhang)

从金字塔到菱形的分析哲学

分析工作的任务,张溪梦认为是“谋断”。李世民痛失魏征那段“以铜为镜”的名言不再赘述,在张溪梦看来,谋断就在于根据过去和现在定制未来,对象当然就是数据。

LinkedIn的三种主要的数据类别,是用户行为数据,用户身份特征数据,以及职业网络数据。如果说2亿用户的数据已经不足以让现在的存储硬件和数据库感到压力,那么相互关联的职业网络数据,绝对是当之无愧的大数据量。

“兵在乎精,不在乎多”,“兵贵速,不贵久!”古中华的兵家圭臬,是张溪梦的大数据智慧所在。他提出了两个准则,大数据要做小,做快,因为速度决定价值与成败。

数据分析的传统金字塔结构,从数据及数据质量管理,先生成商业智能和报表,再进行专门的分析,以及深度分析,最后形成商业洞察,但张溪梦表示,正如伟大的画家不会借他人之手描绘心中的美景,分析师不需要借助现成的报表来创造未来,也就是说,在LinkedIn,商业智能报表要放在分析层之上。

但改造之后的金字塔结构,仍然存在两大问题,首先是功能层之间脱节,更可怕的是,底层占用了90%的资源。张溪梦的做法,对底层“动手术”,让金字塔结构“进化”成菱形结构,当金字塔底座实现了小,整个分析流程的面积减少一半,资源的效率获得100%的提高,而很大的数据变成很小的数据,处理速度也得到质的飞跃。

LinkedIn并没有就此满足,再次把菱形做为新的金字塔“进化”,如此反复,至到不能再“斜,进入第二阶段的进化,进行球形的应用滚雪球的球形,会形成更大的价值环。

1

LinkedIn并没有就此满足,再次把菱形做为新的金字塔“进化”,如此反复,至到不能再“小”,进入第二阶段的进化,进行球形的应用滚雪球的球形,会形成更大的价值环。

LinkedIn张溪梦的分析哲学:大数据要做小做快

1

张溪梦对这套哲学的功效十分欣喜:“我刚开始加入LinkedIn,每天从早晨8:30工作到半夜两三点,一年却只不过出500个报告,支持不到200人;但现在,我的团队每人每天就能帮助别人10次。”

然而,问题来了:今天没有价值的数据,谁能保证在明天没有价值呢?信息的不对称造成的后果,很多企业都深有体会,因此,尽可能地搜集数据,是很多专家的忠告,这也是大数据之所以“大”的原因之一。

“情报永远是不够的。”张溪梦回答说,数据量在增加,也意味着存储和分析成本的增加,分析的速度的下降,随之而来的,往往是价值(ROI)在下降。

为何选择Teradata

LinkedIn的分析哲学得以贯彻实施,IT的力量当然功不可没。张溪梦表示,科技是LinkedIn拓展分析规模的基石。在LinkedIn,Hadoop、Aster Data和Teradata是商业分析部赖以运作的三大平台。

LinkedIn张溪梦的分析哲学:大数据要做小做快

1

LinkedIn与Teradata的合作,其实是从Aster Data开始,后者现在已被Teradata收购。张溪梦介绍,在LinkedIn的基于社交网络的分析模型中,基于传统的关系型数据库进行分析,多级关系网络的计算,一次就需要好几天甚至一个星期才能完成,后来采用了Aster Data,分析效率获得极大的提升,目前的分析时间已经缩短至几个小时。

在尽管LinkedIn在开源技术上花费了很多精力,并自主研发出了多种开源技术,但在数据分析层面,张溪梦更钟情于采用稳定的商业软件。他表示,开源技术更新快、功能多,也意味着不稳定;闭源反应慢,但同时也是稳定的代名词。

张溪梦说,LinkedIn不是一家数据库公司,采用现有的成熟的技术更有利于公司的商业推进速度,而Teradata是最成熟的企业数据仓库供应商,其解决方案的优越性已经得到市场的验证。相比之下,采用Hadoop平台的LinkedIn,还需要在中间增加了一个安全层,以保护会员的隐私和利益。

张溪梦的理由,可以概括为专业,权威。事实上,更深层次的是二者对专业的理解不谋而合。张溪梦希望把大数据做小做快,Teradata大中华区总裁辛儿伦恰恰不断地强调无须贪多,而是要学会舍弃数据,只分析有用的数据。Teradata的数据分析方法是I(整合)、D(探索)、A(行动)。Aster Data就是Teradata的数据探索平台,其设计的理念,就是要让不同层次需求的人都能进行各种分析,轻松探索大数据的价值,提供了SQL、MapReduce、统计、图形、路径、时间和地理查询等工具,正适合LinkedIn的需求。Teradata平台则主要用于支持BI。

忠告“准数据科学家”

在这个被称为“大数据时代”的时代,一个叫做数据科学家(Data Scientist)的新职业被认为即将抢手,包括EMC、微软、Teradata等公司都在谈数据科学家,认为是大数据时代的数据分析的必然需要,甚至有评论称,数据科学家是二十一世纪“最性感”的职业。

而在LinkedIn的模式中,数据科学家的精准判断尤为重要确认哪些是最有价值的数据,不是单靠软件平台就可以实现的。张溪梦表示,最好的分析师要比PM更了解产品,要比Marketing更了解市场,要深刻理解软硬件之间的关系……

毫不夸张地说,成为LinkedIn的分析师也是一种挑战。所以,张溪梦的“兵在乎精,不在乎多”的另一种含义,也是分析团队的“精”。

那么,要如何应对未来的挑战进入这个“性感”的职业?张溪梦的忠告是,不要因为Data Scientist是当前的热门职业而选择这个行当,你的长远目标更重要。他最强调的一点就是兴趣,认为兴趣会驱动你找到变得专业的方法。

翻开张溪梦的履历,我们会发现一件有趣的事情:他曾经是一名神经外科医生。“我是一名称职的医生,但我更享受数字,更享受逻辑。”张溪梦说。

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网