web-crawler

16El calor

6Respuesta

¿Qué es una buena herramienta Web Crawler?

Necesito indexar un montón de páginas web, ¿qué buenas utilidades webcrawler hay? Preferiblemente estoy buscando algo con lo que .NET pueda hablar, pero eso no es nada sensacional. Lo que realmente ne

5El calor

4Respuesta

¿Es posible desarrollar un poderoso motor de búsqueda web usando Erlang, Mnesia & Yaws?

Estoy pensando en desarrollar un motor de búsqueda web usando Erlang, Mnesia & Yaws. ¿Es posible crear un motor de búsqueda web poderoso y rápido usando este software? ¿Qué necesitará para lograr esto

8El calor

2Respuesta

Propiedad HttpBrowserCapabilities.Crawler .NET

¿Cómo funciona la propiedad HttpBrowserCapabilities.Crawler (http://msdn.microsoft.com/en-us/library/aa332775(VS.71).aspx)? Necesito detectar el rastreador personalizado de un compañero y esta propied

14El calor

6Respuesta

¿Puedo bloquear los rastreadores de búsqueda para cada sitio en un servidor web Apache?

Tengo un poco de un servidor de transición en Internet público ejecutando copias del código de producción para algunos sitios web. Realmente no me gustaría si los sitios de ensayo se indexan. ¿Hay alg

18El calor

5Respuesta

Cómo configurar un robot.txt que solo permite la página predeterminada de un sitio

Digamos que tengo un sitio en http://example.com. Realmente me gustaría permitir que los robots vean la página de inicio, pero cualquier otra página debe estar bloqueada ya que no tiene sentido araña.

106El calor

9Respuesta

Detección de rastreadores web "ocultos"

¿Qué opciones hay para detectar rastreadores web que no desean ser detectados? (Sé que las técnicas de detección de listados permitirán al programador inteligente de rastreo furtivo hacer una mejor ar

7El calor

5Respuesta

.NET NO tiene una comunicación de socket Asynchronouos confiable?

Una vez escribí un rastreador en .NET. Para mejorar su escalabilidad, traté de aprovechar la API asíncrona de .NET. La System.Net.HttpWebRequest tiene la API asincrónica BeginGetResponse/EndGetRespons

60El calor

10Respuesta

¿Cómo escribir un rastreador?

He pensado en intentar escribir un rastreador simple que pueda rastrear y generar una lista de sus hallazgos para los sitios web y el contenido de nuestra OSFL. ¿Alguien tiene alguna idea sobre cómo h

7El calor

5Respuesta

¿Cómo conviertes un sitio dinámico en un sitio estático que se puede mostrar desde un CD?

Necesito encontrar una manera de rastrear una de las aplicaciones web de nuestra empresa y crear un sitio estático que pueda grabarse en un CD y ser utilizado por los vendedores para mostrar el sitio

5El calor

1Respuesta

¿Hay un equivalente .NET de Perl's LWP/WWW :: Mechanize?

Después de trabajar con los objetos HttpWebRequest/Response de .NET, prefiero fotografiarme a mí mismo que utilizar esto para rastrear sitios web. Estoy buscando una biblioteca .NET existente que pued