300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > linux下快速删除小文件 Linux 快速删除大量小文件方法

linux下快速删除小文件 Linux 快速删除大量小文件方法

时间:2018-12-13 12:33:17

相关推荐

linux下快速删除小文件 Linux 快速删除大量小文件方法

进行以下两步操作即可:

1、第一步:创建空的文件夹: mkdir /tmp/blank

2、第二步:执行以下命令:rsync --delete-before -d /tmp/blank/ /home/stormnode/store/html/new/

Linux 快速删除大量小文件方法

当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

1.rsync安装,有些系统默认安装有该命令

ubuntu系统:sudo apt-get install rsync

fedora 系统:sudo yum install rsync

其他的可以源码安装,到下面的网站下载

2. rsync提供了一些跟删除有关的参数

rsync --help | grep delete

--delan alias for --delete-during

--delete delete extraneous files from destination dirs

--delete-before receiver deletes before transfer, not during

--delete-during receiver deletes during transfer (default)

--delete-delay find deletions during, delete after

--delete-after receiver deletes after transfer, not during

--delete-excluded also delete excluded files from destination dirs

--ignore-errors delete even if there are I/O errors

--max-delete=NUM don't delete more than NUM files

其中--delete-before接收者在传输之前进行删除操作

3. 示例

清空目录或文件,如下:

1、先建立一个空目录

mkdir /data/blank

2、用rsync删除目标目录

rsync --delete-before -d-a -H -v --progress --stats/data/blank/ /var/edatacache/

或者

rsync --delete-before -d /data/blank/ /var/edatacache/

这样/var/edatacache目录就被快速的清空了。

选项说明:

–delete-before 接收者在传输之前进行删除操作

–progress在传输时显示传输过程

-a 归档模式,表示以递归方式传输文件,并保持所有文件属性

-H 保持硬连接的文件

-v 详细输出模式

–stats 给出某些文件的传输状态

-d transfer directories without recursing

3、也可以用来删除大文件

假如我们在/root/下有一个几十G甚至上百G的文件data,现在我们要删除它

一、创建一个空文件

touch /root/empty

二、用rsync清空/root/data文件

rsync--delete-before -d --progess --stats /root/empty /root/data

注意:

当SRC和DEST文件性质不一致时将会报错

当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件

当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录

linux快速复制大量小文件方法 nc+tar【转】

1,在需要对大量小文件进行移动或复制时,用cp.mv都会显得很没有效率,可以用tar先压缩再解压缩的方式. 2,在网络环境中传输时,可以再结合nc命令,通过管道和tcp端口进行传输. nc和tar ...

linux 用 rsync 快速删除大量小文件

假设我们在目录 /tmp/to_delete 下有很多小文件 a1 a2 a3 f1 f2 f3 现在我们想快速的删除f 开头的文件. 如果文件量大,用rm 可能会失败,而且会很慢, 所以用rsync ...

Linux下快速删除大量小文件引起的磁盘inode(目录索引)过满

1)首先建立一个空白文件夹. mkdir /tmp/empty 然后安装下rsync yum install -y rsync 2)之后使用以下语句即可快速的删除文件. rsync --delete- ...

linux下删除大量小文件

当目录下文件太多时,用rm删除文件会报错:-bash: /bin/rm: Argument list too long提示文件数目太多.解决的办法是使用如下命令:ls | xargs -n 10 rm ...

linux下恢复误删除的文件方法(ext2及ext3)

linux下恢复误删除的文件方法(ext2及ext3)-12-19 15:23:47 分类:LINUX 如果是ext2文件系统的,直接用debugfs是可以恢复出来的,但对于ext3,d ...

linux md5 加密字符串和文件方法

linux md5 加密字符串和文件方法 MD5算法常常被用来验证网络文件传输的完整性,防止文件被人篡改.MD5全称是报文摘要算法(Message-Digest Algorithm 5),此算法对任意 ...

Linux中删除特殊名称文件的多种方式

今日分享:我们在肉体的疾病方面花了不少钱,精神的病害方面却没有花什么,现在已经到了时候,我们应该有不平凡的学校.-- 前言 我们都知道,在linux删除一个文件可以使用rm命令 ...

linux下生成core dump文件方法及设置

linux下生成core dump文件方法及设置 from:/kongque/archive//03/07/141262.html core ...

Linux 快速删除已输入的命令

从输入模式到命令模式: 按”:“到最后一行,再按ctrl+z 就好了 history 显示命令历史列表 ↑(Ctrl+p) 显示上一条命令 ↓(Ctrl+n) 显示下一条命令 !num 执行命令历史列 ...

随机推荐

Web功能之组织结构图

前提:由于项目需要显示组织结构图的形式 工具:VS 项目: 自带的web项目 (带模板页) 插件:OrgChart(依赖:OrgChart.dll).JOrgChart 不多说 ...

Entity Framework 第一篇

这段时间研究了orm框架EF 写一写研究的历程和心得 先贴上核心代码 public interface ITransaction { bool IsTransaction { get;} void B ...

4.python中的用户交互

学习完如何写'hello world'之后,我们还是不太满意,因为这样代码就写死了,以后运行的时候都只打印一局固定的话而已. 但是,我想在程序运行后,自己手动输入内容怎么办,此时就要学习如何使用用户交 ...

CentOS 6.4 + 曙光DS200 IPSan组建FTP服务器

CentOS 6.4 + 曙光DS200 IPSan组建FTP服务器 http://write./postedit/10911105#本系列文章由ex_net(张建波)编写, ...

TableView 多余分割线的处理

方法一,以下两个方法的实现 - (void)viewDidLoad { [super viewDidLoad]; self.tableView.tableFooterView = [[UIView a ...

《算法4》2.1 - 选择排序算法(Selection Sort), Python实现

选择排序算法(Selection Sort)是排序算法的一种初级算法.虽然比较简单,但是基础,理解了有助于后面学习更高深算法,勿以勿小而不为. 排序算法的语言描述: 给定一组物体,根据他们的某种可量化 ...

CMD命令查询DNS服务器

我们先了解"tracert"命令,如图 tracert命令 这是路由跟踪命令,你打开网站通过了哪些网关都能看出来,比如: tracert命令 这是路由跟踪命令,你打开网站通过了哪些 ...

mysql全日志(general log)的命令名称

在源码sql/中定义 const LEX_STRING command_name[]={ { C_STRING_WITH_LEN("Sleep") }, { ...

.Net之路,感谢对我深远影响的三位前辈

为什么要写这篇文章?为什么创立这个站点? 本人大四,学习.Net三年有余,随着近期开始转向对.Net Core的关注,我开始了解到了张善友().腾飞(www.jess ...

python中的缩进问题

python中没有{}来表示代码块,而是用缩进来表示,刚开始写python代码,没有注意缩进,结果各种报错(( ╯□╰ )). 在python中的原则就是同一层次的代码一定要有相同的缩进!!! 从上图 ...

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。