新星计划第二期:技多不压身,“国货”当自强

满堂彩 时间:2019-04-30 08:46:45 浏览:119

说到大数据生态,人们会想到各种各样的生态产品,从鼻祖hadoop,到spark、storm、kafka、kylin……生态体系日益繁荣,功能组件也种类多样。但其中有个“神兽”,在大数据动物园中有着与众不同的身份,因为它是第一个由中国团队进行升级维护的Apache顶级项目。


没错,就是Apache Kylin。


而我们满堂彩新星培训计划的第二期,就是要好好会会它。


新星培训计划,是延承自满堂彩研发团队内训的系统性学习计划。预计用几期的时间,由每位研发同仁作为主讲人,为大家分享当前技术领域的知识,教、学两手抓,一个也不落。


“客户需求的多样性,其实是促使我们不断补充技术拼图的基点”,负责此次技术分享的小田说到,“在上次的开发需求中,遇到了这样的情况,客户现有的硬件支撑是很充沛的,考虑到最大化产品的价值,在开发组件的运用上,和最初的预期安排也有必要做出对应的调整,所以也加入了kylin作为重要的补充。”

 

说到为什么此次分享学习的是kylin,除了因为他“正宗国货”的身份,肯定更多是源自实际的需要了。Kylin不仅是大数据生态的重要成员,更是成为大数据工程师必须要掌握的“高级武功”。从14年在github上开源开源算起,kylin已经走过了五年的时间,如今早已踏上了产品体系化发展的快车道。研发同事们平日跟进着各自不同的项目,面对着多种多样的需求,能够借着这次培训的机会,补足一下短板,重温一下知识,是再合适不过了。

Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

 

该怎么强化培训的有效性,其实是这次培训思考较多的,要照顾到不同团队的需求,我们从两个侧面做了一些调整。


一是留有一定的知识纵深。

让更多人能参与到内训中来,是新星计划最大的亮点。要保证知识学习的质量,课程的编排深浅有度,就要改换思路,用与平日工作开发时不一样的视角来编写材料,照顾到不同学习深度的人的不同需要,由浅入深的进行。此次kylin培训课件的编写,就充分考虑了这些因素,无论是讲授人和听讲者,应该都能从中有更大的收获。

二是和实战项目更好的结合。

每位团队精英,都有着丰富的项目实战经验,如果不和知识做结合,培训的“实用性”就要打折扣,所以此次kylin培训就划分为两个部分来进行,一部分是课件讲授,另一部分是项目讲解,以实际项目为依傍,拆解技术的运用手法。对于自己实操过的项目,主讲人自己也能轻车熟路,更快的进入状态。让“老司机”来带带路,全员一起“上高速”。

“Kylin的多维计算主要是体现在OLAP Cube的计算。Cube由多个Cuboid组合而成,Cuboid上的数据是原始数据聚合的数据,因此创建Cube可以看作是在原始数据导入时做的一个预计算预处理的过程。Kylin的强大之处在于充分利用了Hadoop的MapReduce并行处理的能力,高效处理导入的数据。”

 

学无止境,这句话用在满堂彩的研发团队身上再贴合不过。搞开发不能闷头向前冲,尤其是现在按图索骥,向着上游教育业界进军的时刻,更是要有融会贯通的能力。知识培训也并不是一个只面向研发团队的封闭式培训,只要有兴趣,任何同事都可以参与进来学习知识,更好的为我们的客户服务,也为我们的每一位主讲人提提意见,才能共同进步。

 

商务合作
商务合作