课程背景

随着近些年大数据技术的发展，以 Hadoop、Spark 为代表的大数据开源项目早已迭代成熟，构建起生态化系统。与此对应，不论是开发者还是企业，关注点也已经从技术的演进转向如何更好地应用大数据，去支撑业务和云计算、人工智能的深度融合。在这个智能的时代，不论是否从事大数据开发，掌握大数据的原理和架构也早已成为每个工程师的必备技能。

但是，不论是大数据的技术还是应用，都始终处于动态变化的过程中。对于很多刚开始接触大数据、考虑使用大数据的人来说，这无疑带来了很多困惑。

• 天天听别人讲大数据，自己也看了不少资料，却不得要领，看不到完整的大数据知识轮廓。
• 即使工作和大数据相关，但仍不清楚大数据平台究竟是如何运作的。
• 领导让我搭建一套大数据平台，而我却是一头雾水，不知从何处入手。

如果你也有这样的困惑，不要着急。其实在很大程度上这是大数据知识体系的繁杂造成的，没有专家的明晰指导，多数人都很难真正做到入门，并且通过构建知识体系达到融会贯通。

课程介绍

在这个课程里，导师将结合自己多年大数据开发、应用的经验，帮助你构建一套立体化的知识体系，并从不同视角、不同领域带你找到你在大数据领域的突破口，真正从普通开发者晋升为拥有大数据思维并能解决复杂问题的技术专家。

一套完整的大数据知识体系，将包含 6 个模块。

模块一 Hadoop 大数据原理与架构

为什么讲大数据都要从 Hadoop 开始？大数据的问题和挑战不同以往，它的处理方法与技巧也颇有不同。理解大数据面对的问题以及处理技巧，是构建大数据知识体系的源头。理解大数据，从理解 Hadoop 开始。

模块二 大数据生态体系主要产品原理与架构

大数据领域不只有 Hadoop，还有数据仓库 Hive、NoSQL 系统 HBase、计算引擎 Spark、流计算引擎 Storm、Flink，以及分布式一致性解决方案 ZooKeeper 等，它们构成了一个完整的大数据生态体系，解决各种场景下的不同问题。

模块三 大数据开发实践

本模块以大数据开发者的视角重新审视大数据的各个方面，结合作者在阿里巴巴、Intel 从事大数据开发的实践经历，从“局内人”的视角为你揭秘大数据开发的内里乾坤。

模块四 大数据平台与系统集成

大数据从哪里来？算出来的结果又到哪里去？如何将大数据技术集成到当前系统中去？需不需要自己开发？有没有商业的解决方案？这可能是使用大数据时最迫切需要解决的问题。

模块五 大数据分析与运营

数据分析是大数据应用的一个重要场景，互联网企业运营常用的数据分析指标有哪些？如何呈现？数据分析结果异常了，企业关键绩效指标下滑了，该如何去追踪定位其原因？这些应用场景和问题答案都可以在本模块中找到。

模块六 大数据算法

大数据最激动人心的应用还是大数据机器学习，但大数据机器学习算法是不是真的有那么难？数学不好还能不能学好、用好大数据算法呢？这个模块告诉你，其实大数据算法并不难，原理一样很简单。

你讲收获

• 深入理解 Hadoop 生态系统；
• 7 种大数据技术应用场景解析；
• 工程师必须掌握的大数据算法；
• 高效且完整的大数据学习路径。

课程目录

预习 每个程序员都应该了解点大数据知识

• 大数据技术发展史：大数据的前世今生
• 大数据应用发展史：从搜索引擎到人工智能
• 大数据应用领域：数据驱动一切

模块一 Hadoop大数据原理与架构

• 移动计算比移动数据更划算
• 从RAID看垂直伸缩到水平伸缩的演化
• 新技术层出不穷，HDFS依然是存储的王者
• 为什么说MapReduce即是编程模型又是计算框架
• MapReduce如何让数据完成一次旅行
• 为什么我们管Yarn叫做资源调度框架

模块二 大数据生态体系主要产品原理和架构

• Hive是如何让MapReduce实现SQL操作的
• 人们并没有觉得MapReduce速度慢，直到Spark出现
• 同样的本质，为何Spark可以更高效
• BigTable的开源实现：Hbase
• 流式计算的代表：storm、flink、spark streaming
• ZooKeeper是如何保证数据一致性的？

模块三 大数据开发实战

• 支持标准SQL的数据仓库引擎Panthera实现原理
• Spark的性能优化案例
• 从阿里内部看海量数据处理系统的设计
• 大数据基准测试可以带来什么好处？
• 从大数据性能测试工具dew看如何快速开发大数据系统

模块四 大数据平台与系统集成

• 互联网产品+大数据产品=大数据平台
• 大数据从哪里来？
• 知名大厂如何搭建大数据平台？
• 盘点可供中小企业参考的商业大数据平台
• 当大数据遇上物联网

模块五 大数据分析与运营

• 老板想要监控什么运营指标？
• 一个用户新增下降的数据分析案例
• AB测试与灰度发布必知必会
• 为什么说数据驱动运营？

模块六 大数据算法

• 如何对数据进行分类和预测？
• 如何发掘数据的关系？
• 如何预测用户的喜好
• 机器学习的数据原理是什么？
• 从感知器到神经网络算法