linux文件切割

1. linux下使用split命令分割文件且文件号从001开始

1、Linux里切割大文件的命令如下：

split[OPTION][INPUT[PREFIX]]

选雹孝项如下：

-a :指定后缀长度

-b:每个数瞎文件多少薯肆空字节

-d:使用数字后缀而不是字母

-l:指定每个文件的行数

2、比如我想让后缀长度为 2，即 -a 2。用数字后缀 -d。每个文件 10M，即 -b 10m。命令可以设计如下：

split-a2-d-b10m/var/lib/mysql/general.lognowamagic

会在 /root 文件夹下生成下面的切割文件：

nowamagic00
nowamagic01
nowamagic02
nowamagic03
nowamagic04
nowamagic05
nowamagic06
nowamagic07
nowamagic08
nowamagic09

2. linux文件split切割数据慢的问题

网速太慢。Linux是一种自由和开放源代码的滚陵类UNIX操作汪备系统。，其对网速要求很高，最低困备毁网速为10MB/s，若在低于10MB/s的环境下使用就会导致文件split切割数据慢，更换一个良好的网络环境即可解决。

3. linux 按天压缩并切割日志

1、linux 自带的 logrotate 命令
2、定义切割文件相关信息

/var/log/nginx/*.log {
daily #按天打包
rotate 180 #保存周期为180以内的，超过180天的则删除
missingok
notifempty
dateext
compress
nodelaycompress
sharedscripts
postrotate
/etc/init.d/nginx reload
endscript
}
3、crontab 设置一个定时任务

59 23 * * * /usr/sbin/logrotate -f /var/logrotate/nginx >> /tmp/logrotate.log

4. linux切分文件命令(split)和合并文件

linux有rz和sz命令,可以让我让纳运们在window和本地虚拟机之间传输文件,但是有个麻烦的事情就是不能传输大于4G的文件
如果是传送到linux,可以使用坦梁FileZilla软件,那么从linux下拉到windows怎么解决呢,那就是使用split将文件拆分成小于4G的文件

上面讲解茄厅了拆分,下面讲讲合并tar包

5. linux 如何将一个大文件分成几个小文件

1、连接上相应的linux主机，进入到等待输入shell指令的linux命令行状态下。

6. linux文件拆分命令

Linux中分割文件用split命令，这个命令可以将一个文件分割成指定大小的多个文件，split命令的用法是：
split -b 分割的大小 需要分割的文件名 分割后文件的前导文字
这里解释一下，-b参数表示按照文件大小单位来进行分割（split命令还有一个-l参数，是根据文本文件的行数来进行分割，这个-b参数是根据大小来分割的），-b参数后面跟的是分割的依据——文件大小，文件大小的单位可以是b、k、m，比如300m。“分割后文件的前导文字”是干嘛的呢，其实是在分割后的文件名前面加上一个前缀。下面是一个例子，就假设需要分割的文件是/root/bigfile：
split -b 50m /root/bigfile chunk
这条命令产生的分割文件可能是：chunkaa、chunkab、chunkac，看到前导文字的作用了吧。
那么如何将分割后的文件再合并起来呢，还是接着上面的那个例子，用下面这条命令就可以了（先用cd /root切换到/root目录）：
cat chunk* >> bigfile

7. linux下将文件按行分割的命令

1）按2行切割 -l 2

2）指定切割后的文件前缀名 data_

3）指定切割后的文源兄塌件后缀名为数字 -d

4）指定切割后的文件后缀名数字的长度    -a 4，即位宽（10进制），这里长度可根据切割出来的文件有多少估算，到底拆分为几个文件，由总行数，和每个文件的行数决定，不用指定。

如果为-a 4文件的后缀数字从0000开始计算，依次为0001，0002，0003，0004

split -l 2 data.log -d -a 4 data_

将文件data.log进行拆分，每个尘燃文件2行，如果文件总共有7行，则分为data_0000，雹圆data_0001，data_0002，data_0003

8. 如何将linux文件分割为几个

Linux中分割文件用split命令，这个命令可以将一个文件分割成指定大小的多个文件，split命令的用法是：
split -b 分割的大小 需要分割的文件名 分割后文件的前导文字
这里解释一下，-b参数表示按照文件大小单位来进行分割（split命令还有一个-l参数，是根据文本文件的行数来进行分割，这个-b参数是根据大小来分割的），-b参数后面跟的是分割的依据——文件大小，文件大小的单位可以是b、k、m，比如300m。“分割后文件的前导文字”是干嘛的呢，其实是在分割后的文件名前面加上一个前缀。下面是一个例子，就假设需要分割的文件是/root/bigfile：
split -b 50m /root/bigfile chunk
这条命令产生的分割文件可能是：chunkaa、chunkab、chunkac，看到前导文字的作用了吧。
那么如何将分割后的文件再合并起来呢，还是接着上面的那个例子，用下面这条命令就可以了（先用cd /root切换到/root目录）：
cat chunk* >> bigfile

9. Linux下使用cronolog切割服务器日志文件的方法

Linux下运行的Web服务器Apache，默认日志文件是不分割的，一个整文件既不易于管理，也不易于分析统计。安装cronolog后，可以将日志文件按时间分割，易于管理和分析。

cronolog安装配置非常简单，下载后只需要输入几个命令即可完成。

1、下载（最新版本）

# wget http://cronolog.org/download/cronolog-1.6.2.tar.gz

2、解压缩

# tar zxvf cronolog-1.6.2.tar.gz

3、进入cronolog安装文件所在目录

# cd cronolog-1.6.2

4、运行安装

# ./configure

# make

# make install

5、查看cronolog安装后所在目录（验证安装是否成功）

# which cronolog

一般情况下显示为：/usr/local/sbin/cronolog

整个安装过程结束，下面需要把日志的格式配置一下：

1、虚拟主机配置文件 httpd-vhosts.conf

将Web日志设置 CustomLog 修改为以下格式

CustomLog "|/usr/local/sbin/cronolog /www/logs/example_%Y%m%d.log" combined

当然，错误日志设置 ErrorLog 也可以利用 cronolog 分割，设置为

ErrorLog "|/usr/local/sbin/cronolog /www/logs/error_%Y%m%d.log"

2、如果服务器上只有一个站点（当然这种情况比较少），直接按上面所说格式修改 httpd.conf 文件日志设置部分。

说明：

绿色部分 为 cronolog 安装后所在位置，系统版本不同可能位置不完全一样，以 which 命令查看到的位置为准；

蓝色部分 为设置的日志文件所在位置，根据需要修改；

红色部分 为设置的日志文件标识性字符，根据需要修改；

%Y%m%d 为日志文件分割方式，例子中为“年月日”，也可以修改成自己需要的。

修改httpd.conf文件：

这个文件在我的电脑上是在 /etc/httpd/conf/httpd.conf 不同的服务器 应该是不一样的

在最后加上

# ServerAdmin [email protected]

# DocumentRoot /www/docs/mmy-host.example.com

# ServerName mmy-host.example.com

ErrorLog /data/logs/apache/webapps.wps.cn-error_log

CustomLog "|/usr/local/sbin/cronolog /data/logs/apache/%Y%m%d/access_log.%H" combined

#这个保证了每天一个文件夹 文件夹下 每个小时产生一个log

#CustomLog "|/usr/local/sbin/cronolog /data/logs/apache/%Y%m%%Hdaccess_log" combined

进入到 /etc/init.d/httpd configtest 这样验证你的配置文件是否正确

进入到 /etc/init.d/httpd restart 重启apache 服务器（不同的'系统应该是不一样 要自己找到）

用于Tomcat

第一步

将

if [ -z "$CATALINA_OUT" ] ; then

CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out

fi

修改为

if [ -z "$CATALINA_OUT" ] ; then

CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out.%Y-%m-%d

fi

第二步

将

touch "$CATALINA_OUT"

改为

#touch "$CATALINA_OUT"

第三步

将

org.apache.catalina.startup.Bootstrap "$@" start

>> "$CATALINA_OUT" 2>&1 &

修改为

org.apache.catalina.startup.Bootstrap "$@" start 2>&1

| /usr/local/sbin/cronolog "$CATALINA_OUT" >> /dev/null &

重新启动 Tomcat

service tomcat restart

可以在 Tomcat 的 logs 目录底下找到以系统日期为结尾的 catalina.out.yyyy-mm-dd 的档案，这样子就成功了。

后续就是持续观察看看是不是每天都有产生一个新的 catalina.out.yyyy-mm-dd 档案。然后再安排定期删除这些较旧的 log 档即可。

10. Linux系统日志切割-Logrotate

日志渣伏文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成了个问题。除此之外，处理一个单个的庞大日志文件也常常是件十分棘手的事。

logrotate是个十分有用的工具，它可以自动对日志进行截断（或轮循）、压缩以及删除旧的嫌梁搏日志文件。例如，你可以设置logrotate，让/var/log/foo日志文件每30天轮循，并删除超过6个月的日志。配置完后，logrotate的运作完全自动化，不必进行任何进一步的人为干预。

在Debian或Ubuntu上：

在Fedora，CentOS或RHEL上：

logrotate的配置文件是/etc/logrotate.conf，通常不需要对它进行修改。日志文件的轮循设置在独立的配置文件中，它（们）放在/etc/logrotate.d/目录下。

参数详解：

上面的模板是通用的，而配置参数则根据你的需求进行调整，不是所有的参数都是必要的。

logrotate可以在任何时候从命令行手动调用。要调用为/etc/lograte.d/下配置的所有日志调用logrotate：

要为某个特定的配置调用logrotate,执行一次芹祥切割任务测试

即使轮循条件没有满足，我们也可以通过使用‘-f’选项来强制logrotate轮循日志文件，‘-v’参数提供了详细的输出。

防止访问日志文件过大

logrotate工具对于防止因庞大的日志文件而耗尽存储空间是十分有用的。配置完毕后，进程是全自动的，可以长时间在不需要人为干预下运行。本教程重点关注几个使用logrotate的几个基本样例，你也可以定制它以满足你的需求。