<div dir="ltr">FWIW I hashed a 2GB file 100 times with each of the digests available via openssl, for a total of 1000 runs.<div><br></div><div>Elapse time , seconds:</div><div><br></div><div><div>md5  Average =  0.7401 <------THIS is the fastest</div>
<div>mdc2  Average =  46.8681</div><div>rmd160  Average =  2.2449</div><div>sha  Average =  4.06665</div><div>sha1  Average =  1.3751 <- close second.</div><div>sha224  Average =  3.6005</div><div>sha256  Average =  3.6019</div>
<div>sha384  Average =  6.7991</div><div>sha512  Average =  6.8885</div></div><div><br></div><div>I shuffled the runs hoping to "even out" caching.</div><div><br></div><div>crappy little low power Intel(R) Atom(TM) CPU  230   @ 1.60GHz</div>
<div><br></div><div>David Thornton</div><div><br></div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Sun, Jul 28, 2013 at 3:01 PM, D. Hugh Redelmeier <span dir="ltr"><<a href="mailto:hugh-pmF8o41NoarQT0dZR+AlfA@public.gmane.org" target="_blank">hugh-pmF8o41NoarQT0dZR+AlfA@public.gmane.org</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">| From: William Muriithi <<a href="mailto:william.muriithi-Re5JQEeQqe8AvxtiuMwx3w@public.gmane.org">william.muriithi-Re5JQEeQqe8AvxtiuMwx3w@public.gmane.org</a>><br>
<div class="im"><br>
| For your information,  git handle this the same way, all files are hashed<br>
| and only one copy is kept if any share a hash. They use SHA-1, apparently<br>
| because its more collision resistant without being too CPU intensive<br>
<br>
</div>SHA-1 is probably more resistant to adversaries creating collisions.<br>
If you aren't in an adversarial situation, that doesn't matter.<br>
<div class="im"><br>
| > When I did this, I soon found that there was plenty of CPU left over,<br>
| > so apparently md5sum is disk-bound on my machine (Core Quad Duo 6600,<br>
| > 2.5" external drive connected via USB 3.0).<br>
<br>
</div>Sorry, the CPU is a Core 2 Quad Q6600.  I accidentally garbled the<br>
name.<br>
<div class="im"><br>
| Interesting, I would have guessed its CPU bound too. Goes a long way to<br>
| show it don't help buying cutting edge CPU now unless its for energy<br>
| efficient.<br>
<br>
</div>I still foolishly think of this as cutting edge.  But of course it was<br>
released six years ago!  Things aren't getting faster very fast.<br>
<div class="im"><br>
| What filesystem is on the USB drive? NTFS by any chance? I have found that<br>
| git seem more responsive on Linux than windows. Either the windows port<br>
| sucks or ntfs is just too slow compared to ext4.<br>
<br>
</div>My impression (not measured) is that NTFS on Linux is sluggish.  I<br>
think that it goes through a userland process (using FUSE), perhaps<br>
for patent reasons.  I try to avoid it because I don't trust it to be<br>
problem-free on Linux.  That is likely a no-longer-justified fear.<br>
<br>
This filesystem was ext3 on 2.5" external USB3.0 drive.  2.5" drives<br>
are slow, but ext3 and USB3.0 should be fast (untested opinions).<br>
<div class="HOEnZb"><div class="h5">--<br>
The Toronto Linux Users Group.      Meetings: <a href="http://gtalug.org/" target="_blank">http://gtalug.org/</a><br>
TLUG requests: Linux topics, No HTML, wrap text below 80 columns<br>
How to UNSUBSCRIBE: <a href="http://gtalug.org/wiki/Mailing_lists" target="_blank">http://gtalug.org/wiki/Mailing_lists</a><br>
</div></div></blockquote></div><br></div>