一种处理Hive元数据与文件类型不同时SQL查询失败的方法（二）
继上一篇之后，又发现了一种新的报错位置，本篇对这种情况进行处理，并验证这种处理方式是否适用于Hive on Spark环境。
一、异常触发SQL构造测试数据(1) 建表，插入数据
sql123create table t1(id float,content string) stored as par ...
一种处理Hive元数据与文件类型不同时SQL查询失败的方法
一、背景 由于Hive的元数据与文件存储分离，且可单独修改表的类型，造成元数据与文件类型不同，这时使用SQL查询数据则会报错。不幸的是，我们就有这种需求，数采的数据同步了一份在Hive中，每天有大量的数据实时写入生成大量小文件；且对列的类型修改等没做限制 ...
Hive源码调试
[toc]
1、概述 最近用到了Hive Hook的一些功能，每次打包后都要将jar包拷贝到CDH集群中，还要重启Hive，很麻烦。且传入Hook类中的HookContext对象用Json工具类转换成Json时某些情况下有问题，想看其中的具体内容很不方便。尝试用alibaba的 ...
一种动态更新flink任务配置的方法
[toc]
1 原理参考Flink/Spark 如何实现动态更新作业配置，讲得比较详细，这篇的文章的参考参考文献也可阅读一下。flink任务配置动态更新的实现方法，可通过添加一个控制流，将数据流与控制流连接后，再读取控制流中的消息来更新数据流处理逻辑中的参数，这样即实现了数据流处理逻辑中配置参数动 ...
一种处理Sqoop导出过程中数据的方法
一、Java代码调用Sqoop API导出数据当前测试用大数据集群版本:cdh6.3.2，Sqoop依赖包的版本为1.4.7-cdh6.3.2。调用Sqoop API的Java代码如下：
java1234567891011121314151617181920212223242526272829303 ...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in ...