Acabo de crear una red neuronal MUY grande, aunque con hardware muy potente, e imagino mi conmoción y desilusión, cuando me di cuenta de que NeuralFit [] del paquete de NeuralNetworks solo parece usar un núcleo, y ni siquiera a su máxima capacidad. Estaba destrozado. ¿Realmente tengo que escribir una implementación de NN completa desde cero? ¿O me perdí algo simple?El paquete de Redes neuronales en Wolfram Mathematica no es paralelo?
Mi red tomó 200 entradas a 2 capas ocultas de 300 neuronas para producir 100 salidas. Entiendo que estamos hablando de billones de cálculos, pero mientras sepa que mi hardware es el punto débil, eso se puede actualizar. Debería manejar el entrenamiento de tal red bastante bien si se deja solo por un tiempo (máquina de 4Ghz y 8 hilos con 24Gb de 2000Mhz de memoria CL7 ejecutando unidades RAID-0 SSD en SATA-III, estoy bastante seguro).
Ideas? Sugerencias? Gracias de antemano por sus comentarios.
"shock", "disappointment", "heartbroken". Hmmm, suena un poco como una reacción exagerada si me preguntas. De todos modos, me pregunto si un NN se puede paralelizar fácilmente. Con todas esas interconexiones uno probablemente necesitaría mucha comunicación entre los núcleos, lo que tendría un impacto considerable en la velocidad. –
Es posible que desee leer este blog (http://textanddatamining.blogspot.com/2011/11/buy-or-build-practical-example-to.html) sobre la implementación de un NN con Mathematica –
"suena un poco como una reacción exagerada si me preguntas "- si pagas dinero por un paquete de una compañía con un historial probado de soluciones matemáticas MUY altas, y luego arrojas un problema del mundo real que no puede hacer una sola iteración de Entrenando en 24 horas, sí, yo diría que es una buena razón para emocionarse un poco. :-) Además, tengo una pasión por lo que hago, no solo son números para mí, y este no es mi trabajo, este es mi "hijo" personal. –