当前位置: 移动技术网 > IT编程>数据库>其他数据库 > Hadoop基础教程

Hadoop基础教程

2018年11月23日  | 移动技术网IT编程  | 我要评论

绪论

大数据处理

数据的价值

受众较少

一种不同的方法

hadoop

基于amazon web service的云计算

云太多

第三种方法

不同类型的成本

aws:amazon的弹性架构

本书内容

安装并运行hadoop

基于本地ubuntu主机的hadoop系统

实践环节:检查是否已安装jdk

实践环节:下载hadoop

实践环节:安装ssh

实践环节:使用hadoop计算圆周率

实践环节:配置伪分布式模式

实践环节:修改hdfs的根目录

实践环节:格式化namenode

实践环节:启动hadoop

实践环节:使用hdfs

实践环节:mapreduce的经典入门程序-字数统计

使用弹性mapreduce

实践环节:使用管理公职太在emr运行wordcount

使用emr的其它方式

aws生态系统

本地hadoop与emr hadoop的对比

小结

理解mapreduce

键值对

具体含义

为什么采用键/值数据

mapreduce作为一系列键/值变换

mapreduce的hadoop java api

编写mapreduce程序

实践环节:设置classpath

实践环节:实现wordcount

实践环节:构建jar文件

实践环节:在本地hadoop集群运行wordcount

实践环节:在emr上运行wordcount

0.20之前的版本的java mapreduce api

hadoop提供的mapper和reducer实现

 

 

开发mapreduce程序

高级mapreduce技术

故障处理

系统运行与维护

hive:数据的关系试图

与关系数据库协同工作

使用flume收集数据

展望未来

如对本文有疑问, 点击进行留言回复!!

相关文章:

验证码:
移动技术网