HDFS的副本存放策略&HDFS的读写流程&Pid文件详解&HDFS常用命令&HDFS的回收站机制&安全模式详解&单、多节点的磁盘均衡策略|HadoopHDFS|Hadoop-HDFS目标
整理副本放置策略
整理读写流程
整理pid文件
整理hdfs dfs 常用命令
整理多节点,单节点的磁盘均衡
整理安全模式
副本放置策略副本存放策略存在新旧两个版本
具体可参考我的另一个博客:https://yerias.github.io/2018/10/11/DataWarehouse/ ...
Read more
理解数据块、副本数、小文件的概念&掌握HDFS架构&掌握NN和SNN交互流程|HadoopHDFS|Hadoop-HDFS-DataWarehouse目标
整理对 块大小 副本数的理解
整理对小文件的理解
整理HDFS架构
整理SNN流程
修改hdfs的数据保存文件在开始完成今天的目标之前,我们还要做一个事情,那就是修改hdfs的nn、nd、snn文件保存的目录,这个目录默认保存在/tmp目录下,那么为什么会保存在/tmp目录下呢,实际上是由c ...
Read more
yarn的伪分布式部署&jps的原理&oom-killer&/tmp目录的clean机制|HadoopYarn|Hadoop-MapReduce-Yarn-Linux目标
搭建 yarn伪分布式
跑mr count案例
整理 jps命令
Linux两个机制 oom clean
Yarn伪分布式部署&单点&主从架构由于hadoop集成了MapReduce和Yarn,所以这里我们只要修改相关的配置文件即可使用
我们需要配置mapred-site. ...
Read more
HDFS的伪分布式部署&HADOOP的常用命令|HadoopHDFS|Hadoop-HDFS目标
安装hadoop的hdfs伪分布式部署
hadoop fs常规命令
配置文件在官方哪里找
整理 jdk、ssh、hosts文件
1.安装hadoop的hdfs伪分布式部署
创建用户和目录
[root@aliyun ~]# useradd hadoop[root@aliyun ~]# su - ...
Read more
掌握where、group、join语句和写SQL|MySQL|DataWarehouse-MySQL目标
整理 sql的where各种条件
整理 sql的group
整理 sql的join
04txt文件的案例 9句sql
整理刚才分享的小知识点
补充资料文件夹 去看看执行
彩蛋 视频 sql
1.整理 sql 的 where 各种条件where 子句: 如需有条件地从表中选取数据,可将 whe ...
Read more
掌握MySQL的建表规范、DDL语句和权限操作|MySQL|DataWarehouse-MySQL目标
整理 建表规范
整理 DDL语句的
整理 三句话
首先看一个建表例子,再去研究应该遵循哪些规范create table rzdata(id int(11) not null auto_increment,name varchar(200),age int(3),createuser var ...
Read more
MySQL二进制部署和DBeaver连接MySQL|MySQL|DataWarehouse-MySQL目标
二进制部署mysql
重新部署
部署dbeaver 打通 mysql
二进制部署mysql[https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.6.23%20Install.txt](https://github.com/Ha ...
Read more
Shell的test命令|LinuxShell|Linux-ShellShell中的 test 命令用于检查某个条件是否成立,它可以进行数值、字符和文件三个方面的测试。
数值测试
参数
说明
-eq
等于则为真
-ne
不等于则为真
-gt
大于则为真
-ge
大于等于则为真
-lt
小于则为真
-le
小于等于则为真
实例演示:
n ...
Read more
Shell的流程控制|LinuxShell|Linux-Shell和Java、PHP等语言不一样,shell的流程控制不可缺少
判断语句ifif 语句语法格式:
if conditionthen command1 command2 ... commandN fi
写成一行(适用于终端命令提示符):
if [ $(ps -ef | gre ...
Read more
Shell的printf命令|LinuxShell|Linux-Shellprintf 命令模仿 C 程序库(library)里的 printf() 程序。
printf 由 POSIX 标准所定义,因此使用 printf 的脚本比使用 echo 移植性好。
printf 使用引用文本或空格分隔的参数,外面可以在 printf 中使用格式化字符串,还可以制定字符串的宽度、 ...
Read more