菜单 学习猿地 - LMONKEY

java

java

数据的实时，持续计算，分布式RPC。 随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。当今世界，公司的日常运营经常会生成TB级别的数据。 数据来源囊括了互联网装置可以捕获的任何类型数据，网站、 社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量，实时大数据处理成为了许多机构需要面对的首要挑战。 需要掌握HBase数据库项目实战应用开发，以及掌握Storm流式计算框架项目实战应用开发，还要掌握Flume、Kafka海量日志采集系统应用开发。学完此阶段需要掌握HBase数据库项目实战应用开发，掌握Storm流式计算框架项目实战应用开发，掌握Flume、Kafka海量日志采集系统应用开发。

java

java

应知应会：

java

1. Zookeeper分布式协调系统及HBase安装部署

2. HBase核心功能模块和基本概念

3. Hbase客户端

4. MapReduce批量操作客户端

5. HBase核心知识点

6. Storm基础及Storm应用开发

7. Kafka的核心应用

8. Flume海量日志采集系统

java

项目实战：

java

运营商网络流量流向异常账号监测系统

java

主要知识点：

java
☑ 掌握分布式协调系统ZooKeeper的工作原理

☑ 掌握zookeeper的安装与部署

☑ 理解zookeeper的选举机制

☑ 使用zookeeper构建应用

☑ 理解HBase的基本概念

☑ 掌握HBase的安装部署

☑ 搭建zookeeper分布式协调系统

☑ 安装HBase分布式集群

☑ 理解HBase与Hadoop之间的关系

☑ 掌握的HBase的核心功能模块

☑ 掌握HMaster的工作原理

☑ 掌握HRegionServer的工作原理

☑ 掌握HBase的数据模型

☑ 掌握HBase中列式存储的基本概念

☑ 理解列簇、Rowkey、单元格的概念

☑ 掌握HBase的表结构设计

☑ 掌握列簇和Rowkey的设计

☑ 构建HBase列式存储的模式设计

☑ 掌握HBase的Shell命令

☑ 掌握HBase的常规命令

☑ 掌握HBase的DDL、DML命令

☑ 掌握HBase的工具命令

☑ 掌握HBase的Java客户端

☑ 掌握HBase中表的创建、删除、写入等操作

☑ 掌握HBase中数据的过滤

☑ 使用HBase的客户端完成数据的增删改查

☑ 熟练使用MapReduce操作HBase表中的数据

☑ 掌握HBase作为输入源，输出源及共享源

☑ 熟练使用Sqoop将数据导入到HBase表中

☑ 掌握WebUI界面查看HBase的状态

☑ 掌握HMaster、HRegionServer状态信息分析

☑ 掌握ZooKeeper状态信息分析

☑ 使用MapReduce进行HBase的实战开发

☑ 掌握HBase的核心概念

☑ 掌握HBase的核心存储结构

☑ 掌握HBase的底层持久化原理

☑ 掌握HBase的查询、写入流程

☑ 掌握HBase的数据压缩及常见的压缩算法

☑ 掌握HBase的过滤器、计数器及协处理器

☑ 掌握HBase的布隆过滤器及二级索引

☑ 掌握HBase的批量加载及负载均衡

☑ HBase底层原理优化型实战开发

☑ 掌握实时流业务开发场景

☑ 理解Storm基本概念及核心原理

☑ 掌握Storm的应用开发

☑ 掌握Topology创建及集群任务的提交

☑ 掌握Storm的核心概念和数据流模型

☑ 掌握Spout和Bolt等核心组件

☑ 掌握Stream和Stream Grouping

☑ Storm实时流计算应用开发

☑ 理解Kafka的安装与部署

☑ 掌握Kafka的原理与架构

☑ 掌握Kafka的使用场景

☑ 掌握Kafka的核心概念

☑ 使用Kafka进行文件消费者的应用开发

☑ 掌握Flume的安装部署

☑ 掌握Flume的内部原理

☑ 掌握Flume的Source、Channel、Sink等核心组件

☑ Flume海量日志数据的采集应用开发

java

java

学习基础：

java

大数据开发需要好的技术辅助， 掌握这些玩大数据才顺手。 除了要有Java基础之外， 做大数开发还需要一些通用的技术， 需要掌握Linux技术，包括Linux安装部署、Linux常用命令、Linux用户和权限、能够编写简单Linux Shell脚本。 还需要掌握数据库， 例数据库的设计、使用、优化、编程，熟练使用Java访问数据库。也需要前端H5、CSS3前端技术应用和开发，熟练进行前端界面设计。 也要掌握JavaWeb常见组件Servlet、JSP，熟练搭建Tomcat服务器和JavaWeb环境。

java

java

java