2011-08-31 10 views
10

Si ha investigado seriamente las API de búsqueda, sabe que la mayoría de ellas tienen una gran cantidad de restricciones de TOS/TOU que las hacen casi imposibles de usar en cualquier cosa que no sean las aplicaciones más inanes.¿Qué API de búsqueda gratuitas/pagas permiten consultas programáticas y almacenamiento en caché/almacenamiento de los datos resultantes?

Bing's 2.0 API, Yahoo Search BOSS, Google Places, Google Búsqueda AJAX (muerta), et al, son demasiado restrictivas para nosotros. Necesito ejecutar un número finito y relativamente pequeño de consultas (quizás 500k) por única vez, almacenando datos específicos de los resultados para usarlos en nuestra aplicación.

Por ejemplo, tenemos que hacer coincidir nombres comerciales con sus sitios web objetivo (hemos escrito el algoritmo para hacer una 'mejor conjetura' de un conjunto de resultados si es necesario, solo necesitamos un conjunto de resultados vainilla). Además, debemos hacer coincidir una dirección con esta empresa en cuestión.

Desafortunadamente, puedo encontrar CERO API de búsqueda que nos permitirá disparar consultas en una manera programática, no iniciada por el usuario.

Estamos ansiosos por darle a alguien dinero en efectivo para acceder a este tipo de datos; Google, Bing, Yahoo y otros simplemente parecen no querer nuestro dinero (como lo demuestran sus TOS) ...

¿Alguna idea?

+0

¡Hola a todos! Veo que esto ha recibido un voto cercano. Si hay una comunidad SO que sería más apropiada para esta pregunta, házmelo saber. Honestamente los examiné a todos, y el original SO apropiado parecía ser el más relevante. ¡Gracias! :) – rinogo

+0

¿Has probado Blekko? ¿Qué quiere decir con "Puedo encontrar ZERO API de búsqueda que nos permitirá lanzar consultas de manera programática, no iniciada por el usuario"? Hubo una discusión sobre el Motor de búsqueda personalizado de Google que tiene la posibilidad de buscar en toda la web (agregar un sitio y eliminarlo más adelante). También puede comprar "créditos" para el Motor de búsqueda personalizado, aunque algunos usuarios encontraron una limitación incluso en ese caso. De todos modos, entiendo su punto sobre las limitaciones de las API de búsqueda actuales, y Google es el mejor motor de búsqueda, incluso si otros compiten nadie tiene un índice más grande. –

+0

Muchas gracias por su respuesta, sw. Impulsado por su sugerencia, revisé Blekko, y sus TOU también son bastante restrictivas. (Por el momento, sin embargo, hay un rayo de esperanza para la API de Blekko: http://dev-ops.net/2011/02/02/blekko-search-engine-with-some-nice-features/) El CSE de Google no funcionará para nosotros; preferimos una solución legítima a largo plazo en lugar de un parche jurídicamente cuestionable a corto plazo. ¡Tenemos dinero y estamos dispuestos a desprendernos de él! :) ¿Por qué ninguno de los grandes nombres está dispuesto a dar cabida a entidades con necesidades empresariales legítimas como la nuestra? – rinogo

Respuesta

3

Un índice de acceso libre de 5 mil millones de páginas web, su rango de página, sus gráficos de enlaces y otros metadatos, alojados en Amazon EC2.

http://commoncrawl.org/

sus términos de servicio (o CDU) son bastante razonable y sin restricciones también:

http://commoncrawl.org/about/terms-of-use/

+0

No he investigado mucho (podría satisfacer los requisitos, no estoy seguro); Pensé en agregarlo como comentario: http://80legs.com/ – rinogo

0

si sabes algo de visual basic me gustaría sugerir a jugar con Bing Ad Intelligence. Es un complemento gratuito de Excel y todo lo que necesita para usarlo es una cuenta gratuita de Microsoft.

El límite de consulta es 20,000 palabras por consulta. Puede obtener información sobre clics, impresiones, CTR, CPC, oferta promedio y costo total. El límite de consulta es un poco menor si usa las funciones de búsqueda de palabras clave más avanzadas.

Cuestiones relacionadas