当前位置： 移动技术网 > IT编程>数据库>Mysql > Linux中csv文件按照指定大小进行分割的shell（方法）

Linux中csv文件按照指定大小进行分割的shell（方法）

2018年03月31日  | 移动技术网IT编程  | 我要评论

需求：将一个CSV文件按照指定大小进行分割

原因：自己编写shell的原因是,自带的split是可以按照文件大小进行分割的，结果是文件最后一行可能被截断。最后一行数据分成两截在两个文件中。为了达到最终文件也是一行一行完整的存储，自己写了一个shell。

#!/bin/bash
source /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
size=$1
file=$2

FileSize=`ls -l $file |awk '{print $5}'`
res=`echo "scale=2;$FileSize/(1024*1024*$size)+0.1" |bc` #根据要求的大小，算需要分割为多少个文件
lines=`wc -l $file |awk '{print $1}'`
echo orginal file lines is $lines, split file less than $1M, file number '>' $res
num=`echo "$lines/$res" |bc`
# 判断目录是否存在
if [[ $3 == */* ]]
then
   #获得目录  dist_10040503_res/tianmao_ 截取dist_10040503_res/为目录
   # -v awk_all="$3" 是shell给awk传参数的做法 此处的$3是shell的外部参数
   dic=`awk -v awk_all="$3" 'BEGIN{info=awk_all;tlen=split(info,tA,"/");dic=length(info)-length(tA[tlen]);{print substr(info,1,dic)}}'`
   if [[ ! -d "$dic" ]]
   then
      mkdir -p $dic
   fi
fi
splitFile=`split -l $num $file $3`
# 修改后缀
for i in $3*
do
   fileName="$i"".csv"
   echo $fileName
   mv $i $i".csv"
done
文件按照大小进行切分

参数1（最终文件大小要小于的数字）

参数2（要切分的文件）

参数3（最终文件存放的位置/文件名字的前缀 或者文件的前缀）

如果参数3格式是 dist_1005773/test_dist_1005773_ 则认为最终的文件存放在dist_1005773目录下以test_dist_1005773_开头

如果参数3格式是 test_dist_1005773_ 则认为最终的文件存放在当前目录下以test_dist_1005773_开头

sh split_file.sh 120 dist_1005773_1_100651_171218-180214.csv dist_1005773/test_dist_1005773_

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网