HDFS的副本存放策略&HDFS的读写流程&Pid文件详解&HDFS常用命令&HDFS的回收站机制&安全模式详解&单、多节点的磁盘均衡策略
目标 整理副本放置策略 整理读写流程 整理pid文件 整理hdfs dfs 常用命令 整理多节点,单节点的磁盘均衡 整理安全模式 副本放置策略副本存放策略存在新旧两个版本 具体可参考我的另一个博客:https://yerias.github.io/2018/10/11/DataWarehouse/ ...
Read more
理解数据块、副本数、小文件的概念&掌握HDFS架构&掌握NN和SNN交互流程
目标 整理对 块大小 副本数的理解 整理对小文件的理解 整理HDFS架构 整理SNN流程 修改hdfs的数据保存文件在开始完成今天的目标之前,我们还要做一个事情,那就是修改hdfs的nn、nd、snn文件保存的目录,这个目录默认保存在/tmp目录下,那么为什么会保存在/tmp目录下呢,实际上是由c ...
Read more
yarn的伪分布式部署&jps的原理&oom-killer&/tmp目录的clean机制
目标 搭建 yarn伪分布式 跑mr count案例 整理 jps命令 Linux两个机制 oom clean Yarn伪分布式部署&单点&主从架构由于hadoop集成了MapReduce和Yarn,所以这里我们只要修改相关的配置文件即可使用 我们需要配置mapred-site. ...
Read more
HDFS的伪分布式部署&HADOOP的常用命令
目标 安装hadoop的hdfs伪分布式部署 hadoop fs常规命令 配置文件在官方哪里找 整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 创建用户和目录 [root@aliyun ~]# useradd hadoop[root@aliyun ~]# su - ...
Read more
掌握where、group、join语句和写SQL
目标 整理 sql的where各种条件 整理 sql的group 整理 sql的join 04txt文件的案例 9句sql 整理刚才分享的小知识点 补充资料文件夹 去看看执行 彩蛋 视频 sql 1.整理 sql 的 where 各种条件where 子句: 如需有条件地从表中选取数据,可将 whe ...
Read more
掌握MySQL的建表规范、DDL语句和权限操作
目标 整理 建表规范 整理 DDL语句的 整理 三句话 首先看一个建表例子,再去研究应该遵循哪些规范create table rzdata(id int(11) not null auto_increment,name varchar(200),age int(3),createuser var ...
Read more
MySQL二进制部署和DBeaver连接MySQL
目标 二进制部署mysql 重新部署 部署dbeaver 打通 mysql 二进制部署mysql[https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.6.23%20Install.txt](https://github.com/Ha ...
Read more
Shell的test命令
Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示: n ...
Read more
Shell的流程控制
和Java、PHP等语言不一样,shell的流程控制不可缺少 判断语句ifif 语句语法格式: if conditionthen command1 command2 ... commandN fi 写成一行(适用于终端命令提示符): if [ $(ps -ef | gre ...
Read more
Shell的printf命令
printf 命令模仿 C 程序库(library)里的 printf() 程序。 printf 由 POSIX 标准所定义,因此使用 printf 的脚本比使用 echo 移植性好。 printf 使用引用文本或空格分隔的参数,外面可以在 printf 中使用格式化字符串,还可以制定字符串的宽度、 ...
Read more