利用shell查询数据库最新分区

roych

这是我目前负责的项目的一部分，感觉有点意思，就拿出来和大家分享一下。

1. #!/bin/sh
   
2. ## 导出最新分区到文件
   
3. sql_file=./partitions_sql.txt
   
4. partition_file=./partitions.csv
   
5. rm -rf ${partition_file}
   
6. IFS_old=$IFS
   
7. IFS=\n'
   
8. for line in `cat ${sql_file}`
   
9. do
   
10. hive -e "${line}" | sed 's/[\t]/,/g'  >> ${partition_file};
    
11. echo 'done';
    
12. done;
    
13. IFS=$IFS_old

复制代码

简要说明下：
#!/bin/sh——声明shell的使用路径。然后定义sql文件路径和输出路径。接下来删除输出（旧）文件（如果存在旧文件，删除后方便后续追加数据）。
然后定义新的内部分隔符IFS（Internal Field Separator）为换行符（\n)。这是因为默认情况下，shell脚本是以空格换行的。
最后读取每一行是sql文件，然后运行hive数据库，把查询结果输出到文件，并恢复默认IFS。附上sql文件如下：

tmtony

Linux ？
这是Linux shell 还是 windows powershell

roych

tmtony 发表于 2021-9-30 10:51
Linux ？
这是Linux shell 还是 windows powershell

Linux shell。这段时间都在做ETL，顺带写点心得

tmtony

厉害 ！！

zpy2

#!/bin/bash不是 bash shell ?

roych

zpy2 发表于 2021-9-30 19:07
#!/bin/bash不是 bash shell ?

这个“！”不是取反的意思。
在Linux的sh里不写这句也是可以运行的。当然，指定shell的路径会更好一些。

zpy2

搞hadoop大数据了,厉害。这个hive好用吗？

roych

zpy2 发表于 2021-10-1 09:26
搞hadoop大数据了,厉害。这个hive好用吗？

具体看硬件，然后看优化程度。一般情况下，hive查询比其它数据库要慢，只是插入数据快。

zpy2

哦，这样啊。