web-crawler

5El calor

2Respuesta

Desarrollo de un rastreador y un raspador para un motor de búsqueda vertical

Necesito desarrollar un motor de búsqueda vertical como parte del sitio web. Los datos para el motor de búsqueda provienen de sitios web de una categoría específica. Supongo que para esto necesito ten

19El calor

8Respuesta

HTTPWebResponse + StreamReader Muy lento

Estoy tratando de implementar un rastreador web limitado en C# (para unos pocos cientos de sitios solamente) usando HttpWebResponse.GetResponse() y Streamreader.ReadToEnd(), también intenté usar Strea

15El calor

5Respuesta

¿Cómo permito que Google indexe las partes de mi sitio requeridas para el inicio de sesión?

Parece que Google puede indexar ciertos sitios o foros (no puedo nombrar ninguno porque han pasado meses desde la última vez que vi uno) y cuando se accede se le solicita que se registre o inicie sesi

5El calor

4Respuesta

Descarga automatizada de archivos usando WebBrowser sin url

He estado trabajando en un WebCrawler escrito en C# usando System.Windows.Forms.WebBrowser. Intento descargar un archivo de un sitio web y guardarlo en una máquina local. Más importante aún, me gustar

5El calor

5Respuesta

cómo detectar las visitas al motor de búsqueda en mi sitio? como phpBB

¿Hay alguna forma de detectar motores de búsqueda o rastreadores en mi sitio? he visto en phpBB en el administrador podemos ver y permitir los motores de búsqueda y también podemos ver la última visit

6El calor

7Respuesta

¿Cuál es el lenguaje de programación ideal para un rastreador web?

Necesito crear un programa de recopilación de contenido que simplemente lea los números en páginas web específicas y guarde los datos para su posterior análisis. No lo necesito para buscar enlaces o d

5El calor

3Respuesta

¿Cómo puede un rastreador web Perl seguir una devolución de datos de ASP.NET?

Estoy construyendo un webcrawler en Perl/LWP. ¿Cómo puede la Webcrawler seguir un enlace en una red de ASP.NET como esto: <a id="ctl00_MainContent_listResult_Top_LnkNextPage" href="javascript:__doPost

7El calor

6Respuesta

¿Qué tipo de host web le permite ejecutar rastreadores en él?

Estoy trabajando en un proyecto de graduación para uno de mis cursos universitarios, y necesito encontrar algún lugar para ejecutar varios rastreadores que escribí en C#. Sin experiencia en alojamient

11El calor

4Respuesta

.NET Threadpool personalizado con instancias separadas

¿Cuál es el threadpool personalizado .NET más recomendado que puede tener instancias separadas, es decir, más de un threadpool por aplicación? Necesito un tamaño de cola ilimitado (crear un rastreador

9El calor

1Respuesta

¿Importa el orden de URL en un mapa del sitio XML?

Para los motores de búsqueda y los rastreadores de sitios web, ¿importa el orden de las URL en un mapa del sitio XML? Actualmente, cuando se genera el mapa del sitio, ordeno las URL del sitio secuenci