菜单 学习猿地 - LMONKEY

java

java

Spark 核心Spark Core应用开发是Spack生态的主要技术，在大数据Spack平台生态中处理的数据也可以共享，不同应用之间数据无缝集成 Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的，是一个力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的平台。 需要掌握Scala基础语法、数据结构、面向对象编程、函数式编程；Scala应用开发，还要掌握Spark集群的安装、配置、使用； Spark核心概念、基本原理；Spark RDD、Spark SQL、Spark Streaming应用开发。 以及要了解企业大数据应用设计规范和编码规则，掌握大数据应用开发。学完此阶段需要掌握Scala基础语法、数据结构、面向对象编程、函数式编程；Scala应用开发， 掌握Spark集群的安装、配置、使用；Spark核心概念、基本原理；Spark RDD、Spark SQL、Spark Streaming应用开发， ，了解企业大数据应用设计规范和编码规则，掌握大数据应用开发；

java

java

应知应会：

java

1.理解Spark系统架构，掌握系统及开发环境的安装、配置

2.掌握Spark的核心概念

3.掌握Spark的基本原理

4.掌握Spark Core的开发

java

项目实战：

java

实现KNN、KMeans等机器学习算法

java

主要知识点：

java
☑ Spark 基本架构、Spark安装、配置及使用

☑ Spark 核心概念（RDD、Job、Stage、Task、Executor、Transformation、Action 等）

☑ Spark 原理解析（RDD 数据缓存机制、进程间RPC通信机制、任务划分机制、任务提交机制、任务运行机制、Task 序列化机制、内存管理机制等）

☑ Spark Core 编程

java

java

学习基础：

java

大数据开发需要好的技术辅助， 掌握这些玩大数据才顺手。 除了要有Java基础之外， 做大数开发还需要一些通用的技术， 需要掌握Linux技术，包括Linux安装部署、Linux常用命令、Linux用户和权限、能够编写简单Linux Shell脚本。 还需要掌握数据库， 例数据库的设计、使用、优化、编程，熟练使用Java访问数据库。也需要前端H5、CSS3前端技术应用和开发，熟练进行前端界面设计。 也要掌握JavaWeb常见组件Servlet、JSP，熟练搭建Tomcat服务器和JavaWeb环境。

java

java

java