以下是科多大数据的基础差大数据工程师课程，主要针对基础差大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程，科多大数据给大家分享一下~

一、*一阶段:静态网页基础(HTML+CSS)

1.难易程度:一颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括:html常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等

4.描述如下:

从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。从后期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。经过我们多年开发和授课的项目经理分析，满足这两点，目前市场上较好理解和掌握的技术是J2EE，但J2EE又离不开页面技术。所以*一阶段我们的重点是页面技术。采用市场上主流的HTMl+CSS。

二、第二阶段:JavaSE+JavaWeb

1.难易程度:两颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括:java基础语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、集合、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式

4.描述如下:

称为Java基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式的设计

与实现。该阶段是前四个阶段较较重要的阶段，因为后面所有阶段的都要基于此阶段，也是学习大数据紧密度较高的阶段。本阶段将*一次接触团队开发、产出具有前后台(*一阶段技术+第二阶段的技术综合应用)的真实项目。

三、第三阶段:前端框架

1.难易程序:两星

2.课时量(技术知识点+阶段项目任务+综合能力):64课时

3.主要技术包括:Java、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui

4.描述如下:

前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于前端的技术可以更直观的锻炼人的思维和设计能力。同时我们也将第二阶段的*特性融入到本阶段。使学习者更上一层楼。

四、第四阶段:企业级开发框架

1.难易程序:三颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括:Hibernate、Spring、SpringMVC、log4j slf4j整合、myBatis、struts2、Shiro、redis、流程引擎activity，爬虫技术nutch,lucene，webServiceCXF、Tomcat集群和热备、MySQL读写分离

4.描述如下:

如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省时省力)。从J2EE开发工程师的任职要求来说，该阶段所用到的技术是*掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技术传授)、而且有真实的商业项目驱动。需求文档、概要设计、详细设计、源码测试、部署、安装手册等都会进行讲解。

五、第五阶段:初识大数据

1.难易程度:三颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括:大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop)、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapReduce应用(中间计算过程、Java操作MapReduce、程序运行、日志监控)、Hadoop*应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP端优化，COMBINER使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK与 SED命令)

4.描述如下:

该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。

(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。一个人的时候叫人，人多了呢?是不是叫人群啊!)

那么大数据可以初略的分为:大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准:HADOOP大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用较广泛的系统:LINUX。

六、第六阶段:大数据数据库

1.难易程度:四颗星

2.课时量(技术知识点+阶段项目任务+综合能力)

3.主要技术包括:Hive入门(Hive简介、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive*应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成)、HBASE*特性(读写流程、数据模型、模式设计读写热点、优化与配置)

4.描述如下:

该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。简化咋们的编写程序时间，同时提高读取速度。

怎么简化呢?在*一阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。这里有一个关键字，数据仓库。我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。

总之，要基于数据仓库分析数据呢速度是相对较慢的。但是方便在于只要熟悉SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL查询工具，这一阶段呢还包括HBASE，它为大数据里面的数据库。纳闷了，不是学了一种叫做HIVE的数据“仓库”了么?HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。一个主分析，另一个主查询