On 1/3/07, <b class="gmail_sendername">Evan Leibovitch</b> <<a href="mailto:evan-ieNeDk6JonTYtjvyW6yDsg@public.gmane.org">evan-ieNeDk6JonTYtjvyW6yDsg@public.gmane.org</a>> wrote:<div><span class="gmail_quote"></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
This isn't meant to start a flamewar, honestly.<br><br>I'm just wondering if there are some languages that are either optimized<br>or otherwise more suitable than others for the specific task of writing<br>a specialized web spider.
<br><br>So far the people I've spoken to say this is a perfect task for Ruby,<br>but I don't know it at all. There is no previous baggage on this<br>particular project so we can choose any tool we want -- but once chosen
<br>I'd like to stay with it. Having some existing open source templates or<br>existing code to build upon is always nice too.<br><br>I'm not going to be the programmer (we do want working code, after all<br>:-) ) but I do have some say in the tech to be used. Any suggestions or
<br>pointers of where to explore this particular question are appreciated.</blockquote><div><br>I would expect you could use Andy Lester's WWW::Mechanize for spidering. See<br><br>  <a href="http://search.cpan.org/~petdance/WWW-Mechanize-1.20/lib/WWW/Mechanize.pm">
http://search.cpan.org/~petdance/WWW-Mechanize-1.20/lib/WWW/Mechanize.pm</a><br><br>for lots more information. That page also links to O'Reilly's *Spidering Hacks* <br><br>  <a href="http://www.oreilly.com/catalog/spiderhks/">
http://www.oreilly.com/catalog/spiderhks/</a><br><br>which would probably be a useful resource no matter what language platform you choose.<br><br></div></div>-- <br>Alex Beamish<br>Toronto, Ontario<br>aka talexb