¿Existe algún framework de crawler web java script

Question

¿Existe algún framework de crawler web de JavaScript?

Answer 1

Pruebe el PhantomJS. No es exactamente un rastreador, pero podría usarse fácilmente para ese propósito. Tiene el motor completamente funcional WebKit incorporado, con la capacidad de guardar capturas de pantalla, etc. Funciona como el simple intérprete JS de la línea de comandos.

Answer 2

¿Lado del servidor?

Try-nodo rastreador: https://github.com/joshfire/node-crawler

Answer 3

Hay un nuevo marco que se acaba de liberar de Node.js llamada spider. Utiliza jQuery bajo el capó para rastrear/indexar las páginas HTML de un sitio web. La API y la configuración son realmente agradables, especialmente si ya conoces jQuery.

Desde el banco de pruebas, he aquí un ejemplo de rastreo de la página web del New York Times:

var spider = require('../main'); 

spider() 
    .route('www.nytimes.com', '/pages/dining/index.html', function (window, $) { 
    $('a').spider(); 
    }) 
    .route('travel.nytimes.com', '*', function (window, $) { 
    $('a').spider(); 
    if (this.fromCache) return; 

    var article = { title: $('nyt_headline').text(), articleBody: '', photos: [] } 
    article.body = '' 
    $('div.articleBody').each(function() { 
     article.body += this.outerHTML; 
    }) 
    $('div#abColumn img').each(function() { 
     var p = $(this).attr('src'); 
     if (p.indexOf('ADS') === -1) { 
     article.photos.push(p); 
     } 
    }) 
    console.log(article); 
    }) 
    .route('dinersjournal.blogs.nytimes.com', '*', function (window, $) { 
    var article = {title: $('h1.entry-title').text()} 
    console.log($('div.entry-content').html()) 
    }) 
    .get('http://www.nytimes.com/pages/dining/index.html') 
    .log('info') 
    ;