Experiencias de asignador de memoria escalable

Question

Actualmente estoy evaluando algunos de los asignadores de memoria escalables, concretamente nedmalloc y ptmalloc (ambos construidos sobre dlmalloc), como un reemplazo para malloc/nuevo predeterminado debido a la contención significativa observada en el entorno multiproceso. Su desempeño publicado parece ser bueno, sin embargo, me gustaría comprobar cuáles son las experiencias de otras personas que realmente los han utilizado.

• ¿Se cumplieron sus objetivos de rendimiento?
• ¿Experimentó problemas inesperados o difíciles de resolver (como corrupción de montón)?
• Si ha intentado tanto ptmaalloc y nedmalloc, cuál de los dos me recomiendan? ¿Por qué (facilidad de uso, rendimiento)?
• ¿O tal vez recomendaría otro asignador escalable (gratis con una licencia permitida preferida)?

Answer 1

he implementado NedMalloc en nuestra aplicación y estoy muy contenta con los resultados. La contención que he visto antes se había ido, y el asignador fue bastante fácil de conectar, incluso el rendimiento general fue muy bueno, hasta el punto en que la sobrecarga de las asignaciones de memoria está fuera de servicio ahora es casi inmesurable.

No probé el ptmalloc, ya que no encontré una versión de Windows preparada y perdí la motivación una vez que NedMalloc funcionó bien para mí.

Además de los dos mencionados, creo que también podría ser interesante probar TCMalloc - tiene algunas características que suenan mejor que NedMalloc en teoría (como muy poco sobrecarga para pequeñas asignaciones, en comparación con 4 B encabezado utilizado por NedMalloc) Sin embargo, como no parece tener el puerto de Windows listo, también podría ser difícil.

---

Después de unas semanas de uso de NedMalloc que se vio obligado a abandonarla, porque su espacio de arriba ha demostrado ser demasiado alto para nosotros. Lo que nos impactó en particular fue que NedMalloc parece estar recuperando la memoria de que ya no está acostumbrado al sistema operativo de mala manera, manteniendo la mayoría de ellos aún comprometidos. Por ahora lo he reemplazado con JEMalloc, que parece no ser tan rápido (todavía es rápido, pero no tan rápido como lo fue NedMalloc), pero es muy robusto de esta manera y su escalabilidad también es muy buena.

---

Y después de unos meses de usar JEMalloc he cambiado a TCMalloc.Tomó más esfuerzo adaptarlo para Windows en comparación con los otros, pero sus resultados (tanto de rendimiento como de fragmentación) parecen ser los mejores para nosotros de lo que he probado hasta ahora.

Answer 2

En el pasado he necesitado un método muy rápido para asignar memoria. Descubrí que no había una asignación que estuviera a la altura del trabajo.

Después de un par de días de búsqueda encontré boost :: pool, que en nuestra aplicación obtuvimos un aumento en el rendimiento de 300x.

Nos affectivly simplemente llamamos malloc/libre en los objetos que queremos crear. Aunque hay un poco de sobremesa de configuración, con tener que malloc una gran cantidad de memoria para empezar, pero una vez hecho esto, esto es muy rápido.

Answer 3

Intenté seguir su camino hace un tiempo cuando me enfrenté a una disputa de subprocesos múltiples y un grave problema de fragmentación. Después de bastante poco tiempo de las pruebas, concluí que el beneficio de estos asignadores es insignificante en la mayoría de los casos interesantes que tuve.

La verdadera solución fue sacar mi propio administrador de memoria que estaba especializado para las tareas que estaba haciendo más a menudo.

Answer 4

Si está en Win32, mi experiencia ha sido que es difícil superar al administrador de montón de Windows normal siempre que haya habilitado el Low Fragmentation Heap con la API HeapSetInformation. Creo que esto es ahora estándar en las versiones más nuevas de Windows. Maneja el bloqueo usando primitivas Win32 Interbloqueadas en lugar de un bloqueo Mutex/CritSec más simple.