Herramientas para encontrar problemas de rendimiento de solr

Question

Tengo un servidor de solr, que se ejecuta en el problema de rendimiento al azar. Las consultas que dan como resultado qtimes más largos, no toman el mismo tiempo si pruebo ésos otra vez. El problema de rendimiento incluso surge a veces cuando la carga en el servidor no es alta.

así que quería saber si hay herramientas disponibles o hay ninguna opción en Solr disposición de punta de alfiler el problema que lleva a problemas de rendimiento.

algunos de los parámetros utilizados son en solrconfig.xml -

<filterCache class="solr.LRUCache" size="1024" initialSize="512" autowarmCount="1000"/> 
<queryResultCache class="solr.LRUCache" size="512" initialSize="128" autowarmCount="0"/> 
<documentCache class="solr.LRUCache" size="1024" initialSize="512" autowarmCount="0"/> 
<enableLazyFieldLoading>true</enableLazyFieldLoading> 
<queryResultWindowSize>30</queryResultWindowSize> 
<queryResultMaxDocsCached>100</queryResultMaxDocsCached> 
<HashDocSet maxSize="10000" loadFactor="0.75"/> 

Answer 1

Si usted está buscando a largo plazo el seguimiento es posible que también Mire herramientas/servicios como Scalable Performance Monitoring (SPM) de mi empresa, Sematext u otros. http://sematext.com/spm/index.html

Este servicio expondrá las tasas de solicitud, la latencia, toda la información de caché Solr, la memoria JVM, GC, CPU, carga, disco y red de IO, etc.

comemos nuestra propia comida para perros y utilizar esta herramienta para supervise el rendimiento de Solr en las instancias de Solr detrás de search-lucene.com y search-hadoop.com/ y lo usamos regularmente con nuestros clientes cuando necesitamos ayudarlos con el ajuste de rendimiento de Solr.

Si no desea una supervisión de rendimiento "adecuada" como la anterior, puede usar herramientas como vmstat, iostat, sar, top, jstack, etc. para solucionar problemas de rendimiento de Solr, suponiendo que lo ejecuta bajo UNIX.

Answer 2

creo que debería comenzar por revisar Solr Performance Factors on the Solr Wiki. También puede usar la herramienta SolrMeter para ayudar con las pruebas de estrés de sus cambios.

Answer 3

Tal vez esta herramienta puede ayudarle a: LucidGaze.

que no tienen experiencia con ella pero parece prometedor. La gente de Lucid también publicó algunos artículos interesantes que realmente vale la pena leer.

Answer 4

La utilidad 'SAR' del paquete sysstat es ideal para la depuración de problemas IO de disco. Si observa que un disco en particular obtiene más del 30% o más de la utilización de manera consistente, probablemente esté vinculado a IO.

Answer 5

hice una prueba de esfuerzo de la solicitud por disparar simultáneamente múltiples peticiones al servidor Solr (solicitudes fueron hechas por wgets posteriores)

Empezamos a ver el impacto en el rendimiento y redujeron nuestro problema a dos causas:

• el tamaño de caché era demasiado pequeño, por lo que no eran demasiados los desalojos y las inserciones que suceden en caché.
• Estábamos usando solrversion1.3 que aparentemente usa lecturas de bloqueo para los archivos de índice. El cambio a solr 1.4 eliminó ese problema ya que usa java nio que utiliza lecturas de archivos de índice que no son de bloqueo.

[También hemos intentado poner los archivos de índice en la memoria RAM y directamente a usarlo a partir de ahí, lo que mejoró el rendimiento (pero obviamente no es escalable)]

Answer 6

Experimentaba fugas de memoria SOLR durante más de un año y tuve que volver a sincronizar el servidor durante cinco días para solucionar el problema, finalmente descubrí que la herramienta de supervisión RELIC estaba causando el problema, eliminamos la supervisión y el Se resolvió el problema, por lo que mi consejo es que tenga cuidado al usar demasiadas herramientas de monitración, esto genera una sobrecarga en el rendimiento.