Efficient Linux sockets (DMA/copia cero)

Question

Estoy construyendo un servidor Linux de muy alto rendimiento (basado en epoll, sockets no bloqueantes y disco asíncrono IO [basado en io_submit/io_getevents/eventfd]). Algunos de mis puntos de referencia muestran que la forma en que manejo los enchufes no es lo suficientemente eficiente para mis requerimientos. En particular, me preocupa obtener datos del búfer de espacio de usuario a la tarjeta de red, y de la tarjeta de red al búfer de espacio de usuario (ignoremos la llamada de archivo send por ahora).

Por lo que entiendo, la invocación de lectura/escritura en un socket Linux no bloqueante no es totalmente asíncrona: la llamada al sistema bloquea mientras copia el búfer del espacio de usuario al kernel (o al revés), y solo entonces regresa ¿Hay alguna manera de evitar esto escuchado en Linux? En particular, ¿hay una llamada de escritura totalmente asíncrona que puedo hacer en un socket que devolvería inmediatamente, DMA el búfer de espacio de usuario a la tarjeta de red, según sea necesario, y señalizar/establecer un evento/etc. ¿en la terminación? Sé que Windows tiene una interfaz para esto, pero no pude encontrar nada sobre esto en Linux.

Gracias!

Answer 1

AFAIK está utilizando las llamadas más eficientes disponibles si no puede usar sendfile (2). Varios aspectos del código de red de alto rendimiento eficiente están cubiertos por The C10K problem

Answer 2

Se ha hablado mucho sobre Linux-kernel recientemente acerca de proporcionar una API para algo similar, pero el problema es que no se puede DMA de buffers generales del espacio de usuario a la tarjeta de red, debido a que:

• lo que parece de datos contiguos en el espacio de direcciones del espacio de usuario lineal es probable que no contiguos en la memoria física, que es un problema si la tarjeta de red no hace dispersión de reunir DMA;
• En muchas máquinas, no todas las direcciones de memoria física son "DMA-able". No hay forma en este momento para que una aplicación de espacio de usuario solicite específicamente un búfer con capacidad DMA.

En los últimos núcleos, se podría tratar de usar vmsplice y splice juntos para lograr lo que quiere - vmsplice las páginas (con SPLICE_F_GIFT) que desea enviar en un tubo, y luego splice ellos (con SPLICE_F_MOVE) de la tubería en la toma.