HBase简介和分布式集群的搭建
1,HBase是什么? 1,概念 HBase是一个高可靠性、高性能、可伸缩、分布式、基于列存储的非关系型(NoSQL)数据库。 列式存储和行式存储? 非关系型数据库与关系型数据库? 2,与…
ZooKeeper 原理解析
ZooKeeper 整体架构 1,角色描述 server.id=主机名:2888:3888:observer 2,架构图 (1)每个Server在内存中存储了一份数据; (2)ZooKeepe…
Storm的编程模式和架构
storm storm是一个实时计算系统。 适用于实时分析,在线机器学习,持续计算的流式计算系统。 特点: 速度快,每秒每节点处理数据百万tuple级别的 工作形式: topology 无状态,集群状态和分布式环境形…
MapReduce 原理解析-Shuffle
概述 MapReduce 中, Map 阶段处理的数据如何传递给 Reduce 阶段,是 - MapReduce 框架中最关键的一个流程,这个流程就叫 Shuffle Shuffle: 数据混洗 ——(核心机制:数据…
MapReduce的序列化和分区
流量项目的统计案例 MapReduce的序列化 序列化:把结构化对象转化为字节流反序列化:把字节流转换回结构化对象 Java序列化 重量级序列化框架,一个对象被序列化后,会附带很多额外信息(各种校验信息、header、继承体系等&…
HDFS的Java API 操作
HDFS的JavaAPI操作 1.Windows 下 eclipse 远程连接 Hadoop 集群 (1)下载 eclipse 开发工具,解压并安装。 下载网址:https://www.eclipse.org/downloads/ …
Hadoop–HDFS集群架构
Hadoop集群搭建 服务器配置以及JDK的安装 硬件准备 (1)硬件准备 服务器准备:VMware12/10/14 CentOS6.8 下载网址:http://vault.centos.org/ (2)网络环境准备…
Jupyter notebook LaTeX环境 无法复制粘贴图片解决
简单的说呢,作者经常使用 jupyter notebook 里一个 LaTeX 环境的插件,对于自己编写数学公式写入到 jupyter notebook 的 Markdown cell 里很有帮助。还有一些附加功能,比如会自动帮你预测 LaTeX 指令:\textbf, \textit 等。 还可以…
部署streamlit app到Azure (Docker 入门篇)
文章目录 前言 三个步骤 一、本地运行Streamlit 二、Docker 包装 Dockerfile environment.yml run.sh 建立镜像 三、部署到Azure云 deployment.yml nginx.conf run.sh Dockerfile 总结 Refer…
hakerrank 刷题三(Python 基础)
1. 题一:Dealing with Complex Numbers. 构建一个class Complex(object),object含有实数部分和虚数部分,__sub__, __add__等替换python的built-in “-,+” operator,__str__用来编辑并返回相应格式的复…