野生Java程序员兼美食博主

该部分完全参考官网文档，并简化，详细参考 官网文档（https://docs.docker.com/install/linux/docker-ce/centos/） 1. 系统环境 要求Centos7 确保centos-extras开启，如果没开启可参考enable centos-extras 2. 卸载旧版本12345678$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-engine 3. 安装官网一共提供三种安装方式，接下来采用官网建议的安装方式进行安装 （1）安装依赖123$ sudo yum ...

1. 定义返回的统一对象1234567public class Result<T>{ private Integer code; private String msg; private T data; //get和set方法；或者lombok的注解} 2. ResultUtil1234567891011121314151617181920public class ResultUtil{ public static Result success(Object obj){ Result result = new Result(); result.setCode(0); result.setMsg("success"); result.setData(obj); return result; } public static Result success(){ return success(null); } public static Result success(Integer ...

AOP：面向切面编程；公共行为从业务逻辑分离进行统一处理； 1. 添加依赖12345<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId></dependency> 2. new Aspect类IDE是idea的话，不是右键后的那个选项，是class添加注解和逻辑代码 1234567891011@Aspect@Componentpublic class ***Aspect{ @Before("execution()")//接触到业务代码之前处理 public void doBefore(){ } @After("execution()")//接触到业务代码之后处理 public void doAfter(){ }} execution()的使用参考博 ...

123//对象内部添加校验注解@Min(value=1,message="xxxx")public String key; column1 column2 column3 content1 content2 content3 @AssertFalse Boolean,boolean 验证注解的元素值是false @AssertTrue Boolean,boolean 验证注解的元素值是true @NotNull 任意类型 验证注解的元素值不是null @Null 任意类型 验证注解的元素值是null @Min(value=值) BigDecimal，BigInteger, byte,short, int, long，等任何Number或CharSequence（存储的是数字）子类型 验证注解的元素值大于等于@Min指定的value值 @Max（value=值） 和@Min要求一样 验证注解的元素值小于等于@Max指定的value值 @DecimalMin(value=值) 和@Min要求一样 验 ...

题目来源 最全腾讯等BAT大数据面试99题 以下答案仅供参考，如有错误请指正 1. hadoop中两个大表实现join的操作，简单描述？并没有抓到该题的关键，请大佬指教；关于Hive的Join 参考链接 Hive基础二（join原理和机制，join的几种类型，数据倾斜简单处理） 2. Hive中存放是什么？表（数据+元数据）。 存的是和hdfs的映射关系，hive是逻辑上的数据仓库，实际操作的都是hdfs上的文件，HQL就是用sql语法来写的mr程序。 3. Hive与关系型数据库的关系？没有任何关系。Hive是为了方便数据查询减少MR程序的编写，是一次写多次读的操作，不能进行实时的CRUD操作。 4. 讲一下数据库，SQl ，左外连接， 原理，实现？参考链接 MySQL查询优化——连接以及连接原理 5. 大表和小表join？可以通过/* + streamtable(表) */指定大表，或通过 /* + mapjoin(表) */指定小表指定后会将小表数据放入内存更快的join；若不指定 join 默认将最后一个表作为大表；通常 每次写join时可将小表放左侧，大表放右侧 6 ...

题目来源 最全腾讯等BAT大数据面试99题 以下答案仅供参考，如有错误请指正 1. Spark的Shuffle原理及调优？ 原理：SparkShuffle过程与MapReduce类似；DAG阶段，以Shuffle为界分为map stage和reduce stage，map阶段进行任务计算后下发到各自partition中，同时写入磁盘，该过程为shuffle write；reduce阶段读取map计算后各分区的值进一步计算，该过程为shuffle read； 调优： 尽量减少shuffle次数 必要时主动shuffle，通常用于改变并行度，提高后续分布式运行速度 合并Map端输出文件 开启相关设置：conf.set(“spark.shuffle.consolidateFiles”,” true”) 调节map端内存缓冲区大小和reduce端内存缓冲区内存占比 spark.shuffle.file.buffer，默认32k 在map task处理的数据量比较大的情况下，而你的task的内存缓冲默认是比较小的，32kb。可能会造成多次的map端往磁盘文件的spill溢写操作，发生大 ...

下载离线安装包vim-8.2.tar.bz2 解压1bunzip2 vim-8.2.tar.bz2 再解压1tar xvf vim-8.2.tar 进入解压目录1cd vim82 配置1./configure --disable-selinux --enable-cscope 如果此处报错no terminal library foundchecking for tgetent()… configure: error: NOT FOUND! You need to install a terminal library; for example ncurses. Or specify the name of the library with –with-tlib. 点击下载ncurses rpm -ivh xxxxxxxx安装完成后重新执行该步骤 编译安装1make && make install

主要参考这两篇文章Kafka2.2.0集群搭建（1）Kafka2.2.0集群搭建（2）

new Fields是干啥的declare的时候，new Fields(“A”,”B”)emit的时候，new Value(“a”,”b”)declare的fields的size要和value的size相等否则会报错这个是对应的所以接收的时候tuple.getString(index)这个index就代表着ab的位置返回的tuple中获得的是这个地方的数据 同时，可以通过getStringByField这个方法获得指定field的值 Message ID这个又是干啥的这个值可填可不填当not null时，ack和fail的回调会执行，被storm监控，所以可以在这两个回调函数里记录状态写到日志里，这样排错的时候就能定位了当msgid为null时，可以理解为虽然任务执行了，但是这个事件丢失了，没有人知道他，他是个没身份证的人，不受到storm的监控，也就自然没法对他定位了 开发遇到的报错问题 Local模式 一点运行马上报这个错 12345678910111213141516java.lang.NoClassDefFoundError: org/apache/storm/generat ...

2019.1.23 填坑，点我鸭.2019.1.11 更新错误填坑，点我鸭. 1.下载Hive下载具体参考官网；MariaDB安装参考百度附链接；centos 7 mariadb安装 2. 解压Hive1.2.2并重命名为hive1.2.23. 配置文件修改1cd hive-1.2.2/conf （1）创建hive-site.xml1touch hive-site.xml （2）编辑hive-site.xml（心情好的时候重新整理一下这一步）123456789101112131415161718192021222324252627282930<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> </property> ...