<div dir="ltr">I haven't used Gluster personally, but have you tried turning performance.parallel-readdir on?<div><a href="https://docs.gluster.org/en/latest/release-notes/3.10.0/#implemented-parallel-readdirp-with-distribute-xlator">https://docs.gluster.org/en/latest/release-notes/3.10.0/#implemented-parallel-readdirp-with-distribute-xlator</a><br></div><div><br></div><div>It seems there's a reason why it's on by default (<a href="https://www.spinics.net/lists/gluster-devel/msg25518.html">https://www.spinics.net/lists/gluster-devel/msg25518.html</a>) but maybe it'd still be worth it for you?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 4, 2020 at 9:55 AM Alvin Starr via talk <<a href="mailto:talk@gtalug.org">talk@gtalug.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
I am hoping someone has seen this kind of problem before and knows of a <br>
solution.<br>
I have a client who has file systems filled with lots of small files on <br>
the orders of hundreds of millions of files.<br>
Running something like a find on filesystem takes the better part of a <br>
week so any kind of directory walking backup tool will take even longer <br>
to run.<br>
The actual data-size for 100M files is on the order of 15TB so there is <br>
a lot of data to backup but the data only increases on the order of tens <br>
to hundreds of MB a day.<br>
<br>
<br>
Even things like xfsdump take a long time.<br>
For example I tried xfsdump on a 50M file set and it took over 2 days to <br>
complete.<br>
<br>
The only thing that seems to be workable is Veeam.<br>
It will run an incremental volume snapshot in a few hours a night but I <br>
dislike adding proprietary kernel modules into the systems.<br>
<br>
<br>
-- <br>
Alvin Starr                   ||   land:  (647)478-6285<br>
Netvel Inc.                   ||   Cell:  (416)806-0133<br>
<a href="mailto:alvin@netvel.net" target="_blank">alvin@netvel.net</a>              ||<br>
<br>
---<br>
Post to this mailing list <a href="mailto:talk@gtalug.org" target="_blank">talk@gtalug.org</a><br>
Unsubscribe from this mailing list <a href="https://gtalug.org/mailman/listinfo/talk" rel="noreferrer" target="_blank">https://gtalug.org/mailman/listinfo/talk</a><br>
</blockquote></div>