Asignación eficiente de muchos objetos pequeños de vida corta

Question

Tengo una clase pequeña (16 bytes en un sistema de 32 bits) que necesito asignar dinámicamente. En la mayoría de los casos, la vida útil de cualquier instancia dada es muy corta. Algunas instancias también pueden pasar a través de límites de subprocesos.

Después de haber hecho algunos perfiles, descubrí que mi programa parece estar dedicando más tiempo a asignar y desasignar las cosas que a gastar en usarlas, así que quiero reemplazar las nuevas predeterminadas y eliminarlas con algo que sea un poco más eficiente.

Para un objeto grande (conexiones db, que son costosas de construir en lugar de asignar), ya estoy usando un sistema de agrupación, sin embargo, eso implica una lista para almacenar los objetos "gratuitos" y también un mutex para seguridad de hilo. Entre el mutex y la lista en realidad funciona peor que con el nuevo/eliminar básico para los objetos pequeños.

me encontré con una serie de pequeños asignadores de objetos en Google, sin embargo, parecen estar utilizando un conjunto global/estática que no se utiliza de una manera segura hilo, que los hace inadecuados para mi uso :(

¿Qué otra tengo opciones para una gestión de memoria eficiente de objetos tan pequeños?

Answer 1

Puede estar seguro de que está utilizando el low fragmentation heap. Está en modo predeterminado en Vista y más tarde, pero no creo que sea así con los sistemas operativos anteriores. Eso puede hacer una gran diferencia en la velocidad de asignación para objetos pequeños.

Answer 2

Quizás intente usi ng Google tcmalloc? Está optimizado para asignación/desasignación rápida en un programa enhebrado y tiene una sobrecarga baja para objetos pequeños.

Answer 3

algunos casos también pueden ser transmitidos a través de límites de rosca

Sólo "algo"? Entonces, quizás pueda pagar más por estos, si hace que los que no se pasan a otros hilos sean más baratos. Hay varias formas en que puedo pensar para llegar a un asignador por subproceso y evitar la necesidad de bloquearlo al asignar o liberar el hilo al que pertenece el asignador. No sé cuál podría ser posible en su programa:

• Copie las cosas a través del límite del hilo, en lugar de pasarlas.

• Disponer que si se pasan a otro hilo por cualquier motivo, se vuelven a pasar al hilo original para liberarlo. Esto no necesariamente tiene que suceder muy a menudo, puede poner en cola algunos en el hilo de recepción y pasarlos a todos en un mensaje más tarde. Esto supone, por supuesto, que el hilo que posee el asignador se mantendrá.

• Tiene dos listas libres por asignador, una sincronizada (a la que se agregan los objetos cuando se liberan de otra cadena) y otra no sincronizada. Solo si la lista no sincronizada está vacía y está asignando (y por lo tanto en el hilo que posee el asignador), necesita bloquear la lista libre sincronizada y mover todos sus contenidos actuales a la lista no sincronizada. Si los objetos que se pasan a otros hilos son raros, esto básicamente elimina la contención en el mutex y reduce enormemente el número de veces que se toma.

• Si todo lo anterior falla, tener un asignador por hilo aún podría permitirle deshacerse del mutex y usar una cola libre de bloqueos para la lista libre (liberación de múltiples escritores, asignación de lector único), lo que podría mejorar rendimiento un poco. La implementación de una cola libre de bloqueo es específica de la plataforma.

Dando un paso más atrás, que hace su aplicación con frecuencia alcanzó un estado en el que usted sabe que todas las células asignan después de cierto punto (quizás un poco en el pasado), ya no está en uso son? Si es así, y suponiendo que el destructor de sus pequeños objetos no hace nada terriblemente urgente, entonces no se moleste en liberar las celdas en absoluto; en el "cierto punto" cree un nuevo asignador y marque el antiguo como que ya no se usa para nuevas asignaciones. Cuando "golpee el estado", libere todo el asignador y su búfer subyacente. Si el "cierto punto" y el "estado" son simultáneos, todo es más fácil: simplemente reinicie su asignador.