2009-08-03 7 views
7

Estoy trabajando en un proyecto de graduación para uno de mis cursos universitarios, y necesito encontrar algún lugar para ejecutar varios rastreadores que escribí en C#. Sin experiencia en alojamiento web, estoy un poco perdido. ¿Esto es algo que cualquier sitio permite? ¿Necesito un host especial que dé más acceso al servidor? El rastreador es una aplicación simple que hace su trabajo, luego escribe periódicamente información en una base de datos remota.¿Qué tipo de host web le permite ejecutar rastreadores en él?

+1

¿No puede simplemente ejecutarlo en su computadora de escritorio/portátil o en el servidor de la universidad? –

Respuesta

6

Un rastreador web es una simulación de un usuario normal. Permite que los sitios como los navegadores lo hagan, obteniendo el código html (javascript, etc.) devuelto por el servidor (por lo que no hay acceso interno al código del servidor). Siendo eso, cualquier sitio puede ser rastreado.

Tenga en cuenta algunos web crawler ethics guidelines. Hay páginas que no debe indexar ni seguir sus enlaces. Y los desarrolladores web crean algunos archivos e instrucciones para los rastreadores web, diciendo lo que puede indexar o seguir.

0

Necesitará un VPS (servidor privado virtual) o un servidor dedicado completo. Los rastreadores no son más que aplicaciones que "rastrean" Internet. Si bien puede configurar un sitio web para que sea un rastreador, no es práctico porque tendría que acceder a la página web para que funcione el rastreador. Deberá leer los Términos de servicio (ToS) del host para ver cuáles son los términos de uso. Algunos de los servidores de precios más bajos cortarán su conexión con un motivo de "impacto negativo en la red" si intenta usar mucho ancho de banda aunque le hayan dado mucho que usar.

Los VPS cuestan alrededor de $ 30-80 para un servidor Linux y $ 60 + para un servidor Windows. Los servicios dedicados ejecutan $ 100 + para ambos servidores Linux y Windows.

0

No necesita ningún alojamiento web para ejecutar su araña. Solo solicite una PC con conexión web que pueda funcionar como un servidor dedicado, configure la base de datos y ejecute el rastreador desde allí.

1

Esto no parece tener nada que ver con web hosting. Solo necesita una máquina con conexión a Internet y un servidor de base de datos.

Me gustaría consultar con su universidad si fuera usted. Al menos en mi época, se podía organizar mucho internamente cuando se trataba de proyectos de graduación.

En caso de que eso suceda, podría buscar en una cuenta simple de VPS (Virtual Private Server). A menos que esté seguro de que su aplicación se ejecuta bajo Mono, necesitará una de Windows. Los límites de recursos suelen ser mucho más bajos de lo que obtendría de un servidor dedicado, pero son relativamente asequibles. Algunos ofrecerán una base de datos de MS SQL Server que puede usar junto a la cuenta de VPS (en otra máquina). La instalación de SQL Server en el propio VPS puede ser una licencia problemática.

Asegúrese de verificar los términos de uso antes de abrir una cuenta, así como las especificaciones del sistema (virtual). También verifique si hay algún tipo de período de contrato mínimo. A veces, esto puede durar más de un mes, especialmente si no hay una tarifa de configuración.

Si es posible, busque un host que se encuentre geográficamente cerca de usted. Un servidor del otro lado del mundo puede ser un poco molesto para acceder remotamente a través de Escritorio remoto.

1

Si no puede ejecutarlo fuera de su escritorio por alguna razón, necesitará un host que le permita ejecutar código C# arbitrario. La mayoría de los servidores web baratos no hacen esto debido a las posibles implicaciones de seguridad, ya que habrá varias otras personas corriendo en el mismo servidor.

Esto significa que deberá estar en un servidor donde tenga su propio sistema operativo.Ya sea un VPS - Servidor Virtual Privado, donde la virtualización se usa para darle su propio sistema operativo, pero comparte el hardware - o su propio servidor dedicado, donde tiene el hardware y el software para usted.

Tenga en cuenta que si está ejecutando en un servidor que se comparte de alguna manera, tendrá que asegurarse de estrangularse para no causar problemas a sus vecinos; su problema principal no será usar demasiada CPU o ancho de banda. Esto no es solo por cortesía: la mayoría de los servidores web suspenderán su hosting si está causando problemas en su red, como negar a los otros usuarios del hardware que está usando recursos, consumiéndolos todos ustedes. Por lo general, puedes reventar niveles de uso más altos, pero te cortarán si los mantienes durante un período de tiempo significativo.

1

80legs le permite usar sus rastreadores para procesar millones de páginas web con su propio programa.

Las tasas son:

  • $ 2,00 por millón de páginas
  • $ 0,03 por CPU horas

Afirman que arrastrarse 2 mil millones de páginas web al día.

Cuestiones relacionadas