每周直播 大数据架构之实战

-回复 -浏览
楼主 2018-12-05 15:57:45
举报 只看此人 收藏本贴 楼主

大数据架构

欢迎加入CSDN每周学习计划,组队对抗惰性,把提高技术愿望变成具体的行动。

一周仅需1小时轻松【按系列】搞定 大数据架构


本期组队主题:【大数据架构-实战电商网络项目

  形式:在线直播(每周三晚上,共计5次,首次11.30号)

   

   资料共享  专属社群  按系列讲解

       大咖课坐镇答疑讲解  把疑问迎刃而解

       问答面对面直播间 你有疑惑我来解!


课程简介

目前无论是企业还是培训机构没有一家完整的大数据案例项目,本次课程将从数据产生---数据收集--数据分析---数据展示一步步带您走入大数据世界,让你感觉大数据并不是那么神秘 。

此大数据项目分为前端展示,系统搭建,数据分析,数据展示


前端展示用到技术:

目前比较火的spring mvc和hibernate在servlet3.0规范下的纯注解编程体验

系统搭建用到技术:

nginx服务器的负载均衡实现与动静分离技术中同tomcat服务器的服务器集群整合,以及系统层面的优化处理,比如立竿见影的cpu affinity进程分配技术以及粒度更细的cgroup实现资源隔离,

数据分析用到技术:

从日志数据的产生,比如通过ab压力测试软件生产的海量日志消息,以及通过flume进行hop式跳跃推送进行kafka消息集群,同实现原生数据的hdfs下沉处理与MR实现的数据清洗过程后的数据转储。

分析展示层用到技术

使用hive与crontab组合实现网站流量的KPI数据定时统计。高可用方面配置独立的zk集群实现Hadoop的NN、RM以及利用storm实现业务数据的在线实时处理,结合hbase实现数据的实时读写。


通过以上流程让解决大部分公司常用的技术,里面不光有技术讲解,同时涉及了很多调优方案,让小白快速了解大数据做什么,让有基础的同学学到调优。

每周计划

1周

项目概览


1.1 项目描述

1.2 核心技术说明

1.3 业务流程分析

1.4 项目整体架构图解

2周

项目初始化

                    

2.1 基于servler3.0 的web层框架准备

2.2 springmvc+spring+hibernate的基础类库实现

3周

大数据服务器配置


3.1nginx服务器反向代理配置

3.2nginx + tomcat实现动静资源隔离

3.3nginx实现日志滚动

3.4使用Apache ab进行压力测试

4周

大数据架构配置

                    

4.1 部署flume和kafka集群

4.2 配置hive数据仓库,使用linux调度方式周期性生成分区表

4.3 利用spooldir source提取nginx滚动生成的日志文件到kafka集群

4.4 实现kafka消费者,数据分成两部分处理,一部分作为原生数据直接sink到hdfs,作为备份

4.5 另一部分进行数据清洗,并将清洗后的数据写入到hive数据库的分区表中

5周

大数据业务处理

                    

5.1配置hbase集群,实现业务数据例如用户信息,订单信息等精准数据的存储和查询

5.2在hive中创建pv,uv等数据统计表,使用hbase存储处理器将数据映射到hbase中,以方便于快速查询和数据可视化处理

5.3配置linux计划任务,周期性调用hive脚本,对上一天的日志信息进行kpi统计,统计结果进入hbase映射表中

5.4集合web前端部分,对hbase库中数据进行展现和可视化处理

长按立即报名

  

点击阅读原文立即报名加入!



我要推荐
转发到

友情链接