大数据 - 62042编程之家

Ubantu自动搭建（hadoop+hbase+spark+zookeeper）分布式集群脚本

2023-01-06 大数据 0 ℃

本文提供一键式部署大数据集群的脚本，用户只需输入对应的信息并按脚本执行即可。对应的下载资料如下：链接：https://pan.baidu.com/s/1AVlLbP2MNPLOAzmo75rpMQ 提取码：e1af 1 前提条件 1) 操作系统：必须 UBUNTU 一键部署下的软件默认配置为Ubantu系统。 2) 必须安装SSH服务 a. ssh服务安装...
FastDFS客户端的链码调用

2023-01-06 大数据 2 ℃

0 概述本文档介绍如何将已经搭建好的FastDfs集群，实现对fabric链码搭的调用。 1 前提条件 * 完成FastDfs集群的搭建，并实现用java调用，详细过程见我的另两篇文章《搭建分布式FastDFS集群》和《FastDFS-JAVA-Client使用示例》。 * 在你的虚拟机中完成docker的安装，以保证链码能够正常的运行。 * 完成fabr...
大数据组件之Kafka学习指南/快速入门

2023-01-06 大数据 0 ℃

KAFKA学习总结 1、KAFKA简介 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等) Kafka最核心的最成熟的还是他的消...
Zookeeper快速入门（Zookeeper分布式协调系统）

2023-01-06 大数据 0 ℃

1 ZOOKEEPER的基本功能和应用场景 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 2 ZOOKEEPER的整体运行机制 3 ZOOKEEPER的数...
大数据组件之数据采集工具FLume介绍/快速入门

2023-01-06 大数据 0 ℃

大数据组件之数据采集工具FLUME介绍/快速入门 1 背景在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：图：典型大规模离线数据处理平台 2 FLUME日志采集框架 2.1 F...
搭建分布式FastDFS集群

2023-01-06 大数据 2 ℃

搭建分布式FASTDFS集群 1 环境系统环境：ubantu18.04 FastDFS版本：5.11 Nginx版本：1.15.4 跟踪服务器（Tracker Server）：Ip1(bc1-PC) 存储服务器（Storage Server）：Ip1(bc1-PC)；Ip2 (bc0-PC) 用户：root 2 安装FASTDFS软件建议在/home/u...
大数据组件之数据迁移工具Sqoop学习/快速入门

2023-01-06 大数据 0 ℃

大数据组件之数据迁移工具SQOOP 1 SQOOP介绍 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 2 工作机制将导入或导出命令翻译成mapr...
Spark集群运行在yarn上

2023-01-06 大数据 0 ℃

1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 2.1 安装HADOOP 需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.2 安装SPARK 解压Spark安装程序到一台服务器上，修改spark-env....
大数据存储技术之KUDU学习总结/快速入门

2023-01-06 大数据 0 ℃

KUDU学习总结 1 基础概念官方：https://kudu.apache.org/ 在 KUDU 之前，大数据主要以两种方式存储： • 静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。 • 动态数据：以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。这类存储...
大数据组件之OOZIE介绍/极速入门

2023-01-06 大数据 1 ℃

1 基本概念在字典中搜索oozie一词，可以看到如下释义：没错，就是训象人！大象，你想到了什么？没错就是hadoop的logo，一只黄色的小象。所以光从这个翻译来看，你就应该明白oozie是做什么的了吧。接下来我们详细介绍 2 OOZIE概念 Hadoop常见调度框架：（1）Linux Crontab： Linux自带的任务调度计划，在任务比较少的情况...

分类导航

SQLServer

Oracle

MySQL

PostgreSQL

NoSQL

大数据