51CTO大数据Hadoop生态圈体系

51CTO大数据Hadoop生态圈体系资源简介:

熟悉大数据概念，明确大数据职位都有哪些；熟悉Hadoop生态系统都有哪些组件；学习Hadoop生态环境架构，了解分布式集群优势；动手操作Hbase的例子，成功部署伪分布式集群；动手Hadoop安装和配置部署；动手实操Hive例子实现；动手实现GPS项目的操作；动手实现Kafka消息队列例子；

目录:

第1章大数据入门(2小时54分钟5节)

1-1大数据入门[51:54]
1-2大数据入门2[31:36]
1-3大数据架构问题[42:43]
1-4大数据架构问题[36:16]
1-5大数据官网[12:28]
第2章hadoop快速入门(2小时17分钟7节)

2-1环境安装准备[08:40]
2-2服务器网络配置[32:09]
2-3linux基本操作[44:07]
2-4域名映射、主机名、ssh免登陆[20:39]
2-5hadoop安装流程[09:43]
2-6hdfs shell基本使用[11:36]
2-7IDEA搭建maven项目[10:19]
第3章hadoop进阶篇(1)(2小时47分钟8节)

3-1Idea的快捷键[20:50]
3-2打成jar包提交到集群[17:50]
3-3HDFS快速入门[23:48]
3-4HDFS上传文件[12:23]
3-5HDFS上传文件流程[25:03]
3-6HDFS写文件流程[09:18]
3-7HDFS api代码编写[26:46]
3-8namenode角色分析[31:58]
第4章 hadoop进阶篇(2) (3小时2分钟 8节)

4-1昨日回顾[23:56]
4-2定期上传日志到HDFS[08:46]
4-3log4j代码编写[24:50]
4-4上传log4j代码到服务器，定期执行[22:08]
4-5定期上传文件到HDFS[12:04]
4-6MapReducer[18:51]
4-7MapReducer-01[32:57]
4-8MapReducer-02[38:48]
第5章 南京市出租车GPS日志分析 (5小时54分钟 14节)

5-1block和split区别[25:47]
5-2yarn资源调度策略[13:23]
5-3hdfs-mapreduce-yran[30:30]
5-4手机流量[18:33]
5-5自定义Partitioner[17:21]
5-6mapreduce压缩[23:17]
5-7gps案例题1[20:41]
5-8GPS案例题2[21:14]
5-9GPS案例3，4[24:41]
5-10GPS案例3[24:04]
5-11GPS案例4[50:23]
5-12把数据写入到数据库[36:57]
5-13echarts的简单入门[22:04]
5-14前后台数据交互[25:35]
第6章 hadoop高阶篇 (3小时43分钟 11节)

6-1combiner介绍[21:12]
6-2计数器的使用[12:56]
6-3Hadoop序列化和Java序列化对比[15:45]
6-4手机流量封装对象案例[11:14]
6-5对象做Key的时候需要其具有可比性[14:57]
6-6SequenceFile[16:21]
6-7小文件合并（1）[18:10]
6-8自定义输入[25:29]
6-9自定义输入(2)[14:07]
6-10自定义输出[27:47]
6-11groupingcomparator[45:29]
第7章 ganglia配置安装 (2小时11分钟 6节)

7-1Hadoop在Idea里面把任务提交到集群[04:06]
7-2IDEA本地伪造HDFS权限问题[07:02]
7-3Hadoop监控的安装[59:01]
7-4HadoopLocal监控[17:56]
7-5Hadoop的jmx[09:15]
7-6Zookeeper原理篇[34:09]
第8章 hadoop集群详解 (1小时36分钟 3节)

8-1hadoop HA原理篇[17:24]
8-2hadoopHA的架构图详解[42:31]
8-3hadoop HA集群搭建[36:48]
第9章 Zookeeper详解 (3小时17分钟 6节)

9-1zookeeper集群和结构[44:32]
9-2zookeeper数据结构和ACL[29:03]
9-3zookeeper 基本命令使用[40:26]
9-4zookeeper api使用[28:08]
9-5zookeeper监听器[24:58]
9-6zookeeper 上下线感知[30:06]
第10章 数据仓库ETL和Hive (2小时14分钟 6节)

10-1数据仓库和数据库和ETL原理[31:57]
10-2数据仓库和数据库案例[20:19]
10-3HIVE原理篇[18:38]
10-4数据库MySQL的安装[08:06]
10-5安装hive[40:12]
10-6内外表区别和hwi页面的安装[15:37]
第11章 hive详解篇 (2小时36分钟 8节)

11-1hive分区表[21:03]
11-2hive分桶[18:32]
11-3hive列修改[10:37]
11-4hive其它命令[11:44]
11-5hive动态分区[42:05]
11-6hive导出数据[16:41]
11-7hive的join操作[13:16]
11-8hive的maperjoin操作[22:43]
第12章 hive实战篇 (2小时42分钟 9节)

12-1UDF函数[15:49]
12-2统计每一年每个月有效访问总和[21:37]
12-3把上述结果存储到分区表里面[11:44]
12-4计算UA的有效访问比[07:06]
12-5统计用户来源情况[06:42]
12-6sqoop组件导出[11:46]
12-7hive导入HDFS[07:24]
12-8Hive访问时长统计[51:03]
12-9Hive级联求和[29:19]
第13章 Hive的GPS数据分析 (1小时4分钟 2节)

13-1基于hive的GPS项目分析[44:56]
13-2Zepplin数据分析工具的安装[19:57]
第14章 hbase快速入门 (2小时24分钟 6节)

14-1hbase概念篇[23:51]
14-2hbase安装[17:54]
14-3hbase shell[39:17]
14-4hbase shell 1[26:50]
14-5hbase shell 2[10:34]
14-6hbase 预分区[26:04]
第15章 Hbase详解篇 (2小时57分钟 5节)

15-1HBASE原理介绍[37:14]
15-2Memstore刷入磁盘[53:10]
15-3Hbase物理存储[36:40]
15-4Hbase的读写过程[24:53]
15-5Hbase的wal机制和读取[25:26]
第16章 Hbase实战篇 (58分钟 3节)

16-1Hbase的api[16:30]
16-2Hbase的Bulk进行Loading操作[27:13]
16-3Hbase的hive进行SQL整合[14:57]

侵权联系与免责声明 1、本站资源所有言论和图片纯属用户个人意见，与本站立场无关 2、本站所有资源收集于互联网，由用户分享，该帖子作者与BBM资源站不享有任何版权，如有侵权请联系本站删除 3、本站部分内容转载自其它网站，但并不代表本站赞同其观点和对其真实性负责 4、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意 如有侵权联系邮箱：1415374178@qq.com