Hadoop 学习笔记·一 —— 大数据与 Hadoop 概述

2023-09-24 9 0

大数据

  • 大数据(big data) :
    指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合,是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的 海量、高增长率和多样化的信息资产

  • 大数据特点(4V)
    Volume 大量
    Velocity 高速
    Variety 多样
    Value 低价值密度

Hadoop

Hadoop 是由 Apache 基金会所开发的 分布式系统基础框架,主要解决海量数据的存储和分析计算问题 ,从更广义上讲,Hadoop 指 Hadoop 生态圈

  • Hadoop 有三大发行版本:

    1. Apache 版本,入门学习最好
    2. Cloudera 在大型互联企业中使用较多
    3. Hortonworks 文档较好
  • Hadoop 的优势

    1. 高可靠性: Hadoop 底层维护多个数据副本,即使 Hadoop 的某个计算元素或者存储出现故障,也不会导致数据的丢失
    2. 高扩展性: 在集群间分配任务数据,可方便地扩展数以千计的节点
    3. 高效性: 在 MapReduce 的思想下,Hadoop 是 并行 工作的,加快了任务的处理速度
    4. 高容错性: 能够自动将失败的任务重新分配

Hadoop 组成

图1

HDFS 架构

HDFS(Hadoop Distributed File System)的架构如下图所示,
图2

YARN 架构

图3

MapReduce 架构

MapReduce 将计算过程分为两个阶段:Map 和 Reduce,如图所示,

  1. Map 阶段 并行 处理输入数据
  2. Reduce 阶段对 Map 结果进行汇总

图4

大数据技术生态体系

图5

  1. Sqoop:Sqoop是一款开源的工具,主要用于在 Hadoop、Hive 与传统的数据库( MySql )间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中

  2. Flume:Flume 是 Cloudera 提供的一个 高可用的,高可靠的,分布式的 海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力

  3. Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
    (1)通过 O(1) 的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能
    (2)高吞吐量:即使是非常普通的硬件 Kafka 也可以支持每秒数百万的消息
    (3)支持通过 Kafka 服务器和消费机集群来分区消息
    (4)支持 Hadoop 并行数据加载。

  4. Storm:Storm 用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户

  5. Spark:Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算

  6. Oozie:Oozie 是一个管理 Hadoop 作业(job)的工作流程调度管理系统

  7. Hbase:HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库

  8. Hive:Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。 其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓库的统计分析

  9. R 语言:R 是用于统计分析、绘图的语言和操作环境。R 是属于 GNU 系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具

  10. Mahout:Apache Mahout 是个可扩展的机器学习和数据挖掘库

  11. ZooKeeper:Zookeeper 是 Google 的 Chubby 一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等
    ZooKeeper 的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户

代码编程
赞赏

相关文章

【C】浅析 #define 宏和函数的区别
【C】浅析 关键字
【C】库函数之 sqrt
【C】折半(二分)查找
fio_generate_plots
【Linux】进程的调度算法