野生Java程序员兼美食博主

背景当前虚拟机CentOS7，且已位于root用户安装的是2.10.5版本的Scala，且在.bashrc中配置了相应的环境变量此时需要更改Scala版本为2.11.8，且在.bashrc中配置了新的环境变量，并source重新生效 产生问题输入scala -version发现版本依旧为2.10.5但此时版本应该为2.11.8才为正解 解决方案CTRL + D退出当前用户，然后重新进入输入scala -version 版本变为2.11.8 注： 以上问题解决方案仅供参考，具体情况需具体分析

此处更正Spark版本和Scala版本的关系：如官网所述。。。下面写的时候有误【虽然也能用，不过还是按照官网来吧】 1. 下载Spark点击去官网然后选择下载版本红框根据自己需要选择，这里选2.0.2注意蓝框部分需要和你安装的Hadoop版本一致，因为我的机器是2.7.5所以这里选Hadoop2.7 2. 上传spark到虚拟机，解压3. 设置环境变量编辑 1vim ~/.bashrc 输入，SPARK_HOME 换成你的路径 12export SPARK_HOME=/usr/local/src/spark-2.0.2export PATH=$PATH:$SPARK_HOME/bin 生效 1source ~/.bashrc 4. 配置spark-env进入目录 1cd /usr/local/src/spark-2.0.2/conf 拷贝一份模板文件 1cp spark-env.sh.template spark-env.sh 编辑 spark-env.sh，JAVA_HOME、SCALA_HOME、HADOOP_HOME换成你的虚拟机中对应的目录【稍后安装Scala】 12345 ...

环境搭建的文章对于简单的不再更新了，稍微复杂点的再写博客记录吧 参考文档地址（持续新增） 标题 地址 Hadoop Yarn Container 资源分配 https://blog.csdn.net/szh1124/article/details/76178699?tdsourcetag=s_pcqq_aiomsg map数量如何控制 https://www.cnblogs.com/junneyang/p/5850440.html MapReduce 程序内部数据处理流程全解析 http://www.aboutyun.com/thread-15494-1-2.htmlhttps://blog.csdn.net/qq_17776287/article/details/78176515https://blog.csdn.net/aa518189/article/details/80020857 maptask 并行度决定机制 https://blog.csdn.net/tototuzuoquan/article/details/72851603 https://blo ...

所有涉及到路径的地方均以自己的为准，下面的路径仅供参考Master机器确保安装wget将zookeeper3.4.11下载到/usr/local/src目录下通过下面的命令安装3.4.11版本的 1wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz 下载完成后解压 1tar -zxvf zookeeper-3.4.11.tar.gz 之后进入zookeeper目录，新建两个目录 12mkdir datamkdir logs 修改Zookeeper配置 1cd zookeeper-3.4.11/conf/ 修改zoo.cfgconf目录下是没有zoo.cfg的，所以需要mv或者cp一份 1cp zoo_sample.cfg zoo.cfg vim zoo.cfg 12345dataDir=/usr/local/src/zookeeper-3.4.11/datadataLogDir=/usr/local/src/zookeeper ...

所有涉及到路径的地方均以自己的为准，下面的路径仅供参考Master机器确保安装wget将Hbase1.3.1下载到/usr/local/src目录下通过下面的命令安装1.3.1版本的 开始之前先看一下版本的问题，选择对的版本很重要，以下图片来自官网JDK版本关系 Hadoop的版本关系 1wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz 下载完成后解压 1tar zxvf hbase-0.98.24-hadoop1-bin.tar.gz 修改hbase conf配置 cd hbase-1.3.1/conf/ vim regionservers 删除localhost添加以下内容 123masterslave1slave2 保存退出 vim hbase-env.sh 找到JAVA_HOME的位置，修改成如下内容 12export JAVA_HOME=你安装的jdk目录## export CLASSPATH=.:$CLASSPATH:$JAVA_HOME ...

安装Maria DB 1yum -y install mariadb mariadb-server 启动Maria DB 1systemctl start mariadb 设置开机启动 1systemctl enable mariadb 初始化设置 1mysql_secure_installation 运行后会提示 Enter current password for root (enter for none): 回车确认 Set root password? [Y/n] 回车确认 New password: 新密码 Re-enter new password: 再输一次 之后的所有选项回车到底完成安装验证是否成功安装 1mysql -u root -p 输入刚才的密码回车，显示出下面的就成功了 因为在初始化的时候设置了root用户不能远程访问，所以需要设置下远程访问的新用户 1GRANT ALL PRIVILEGES ON *.* TO '改成你的用户名'@'%'IDENTIFIED BY '改成你的密码' ...

HDFS 什么是HDFS HDFS是Hadoop中的分布式文件系统，用于存储超大数据文件，为Hadoop提供基础存储服务 HDFS有什么特点 HDFS可存储超大文件 一次写入，多次读取 一个文件经过创建，写入和关闭之后就不需要改变，这个假设简化了数据一致性的问题，提高了数据访问的吞吐量 物理机设备硬件要求低 HDFS设计中充分考虑了数据的可靠性、安全性和高可用性 HDFS的是否有块的概念？这样设计有什么优点 HDFS有Block的概念，其大小Hadoop1.0默认为64M（Hadoop2.0 为128M），相比于磁盘的文件系统大很多；设计的如此之大是为了1.最小化寻址开销，因为大的块可以减少寻道时间2.减少管理块的数据开销，因为每个Block在namenode上都有记录 为什么说HDFS可以存储超大的文件 HDFS的文件可以大于任何一个磁盘的容量，因为文件的所有块并不需要存储在一个磁盘上，因此可以通过集群中的任意磁盘进行存储，正式因为这种分布式的逻辑使得HDFS存储的数据可以达到G、T、P等级别 哪些场景不适合用HDFS 1.低延迟，实时查询2.大量 ...

修改主机名称vim /etc/sysconfig/network 内容：HOSTNAME=master 分别修改其他主机HOSTNAME 修改hosts文件 vim /etc/hosts 写入mater，slave1，slave2，。。。格式为 ip name 如：192.168.202.10 master scp /etc/hosts slave1:/etc/hosts 将文件分别复制到从机中 主从免密登录 主节点 通过 ssh-keygen 回车。。。直到生成文件 cd ~/.ssh 写入文件： cat id_rsa.pub > authorized_keys 从节点 ssh-keygen生成文件 cd ~/.ssh cat id_rsa.pub 将显示出的内容复制到主节点的authorized_keys中 全部复制完毕后，在主节点的.ssh目录下执行**scp authorized_keys slave1:~/.ssh/**复制到所有从节点中 验证 ssh slave1直接进入从机说明操作成功 Ha ...

Linux常用操作Vi(Vim) 命令模式执行复制/粘贴/截切 复制：yy（当前行），nyy（n行），ny（n+1行） 剪切：dd（当前行），ndd（n行），nd（n+1行） 粘贴：p 取消高亮： :noh 或者 /sldfjsdlfj 随便输入 这里仅作为随手笔记记录常用到的，欢迎大佬补充

鉴于Layui 140个图标可能不太够用，所以这里我们需要扩展下分别试了 Font Awesome 和 阿里的IconFont ，其他图标库应该是通用的 首先Font Awesome 这里用的4.7，5.0+emmm是要买授权了嘛。。。不知道，阿里库就挺好的挺丰富反正需要先引入font-face（扩展其他库也要这样） 1234567891011@font-face { font-family: 'FontAwesome'; src: url('/assets/fonts/fontawesome-webfont.eot?v=4.7.0'); src: url('/assets/fonts/fontawesome-webfont.eot?#iefix&v=4.7.0') format('embedded-opentype'), url('/assets/fonts/fontawesome-webfont.woff2?v=4.7.0') forma ...