Hi all,<br><br>I'm looking to implement a spidering system intended to look through a bunch of catalog websites, in order to track changes to those catalogs (with the help of a backend MySQL system).<br clear="all"><br>
The Wikipedia entry for "web crawler" returns a lot of interesting choices; I'm wondering is anyone here has experience in either writing one or using an existing open source one. I'm hoping for something that is reasonably configurable so that one doesn't need to know a language like C or Java to make minor config changes.<br>
<br>Any help is appreciated.<br><br>-- <br>Evan Leibovitch<br><a href="mailto:evan-ieNeDk6JonTYtjvyW6yDsg@public.gmane.org">evan-ieNeDk6JonTYtjvyW6yDsg@public.gmane.org</a><br>