Hay varios enlaces Java a CUDA y OpenCL (jcuda.org, jocl.org, algo más también llamado jocl), pero todos ellos son sólo maneras de conseguir CUDA o OpenCL código que se ejecuta en la GPU a través de Java y requieren que escribir el código en concreto para eso. No creo que haya una manera fácil de ejecutar un programa Java arbitrario de múltiples subprocesos en la GPU con solo cambios menores en el código.
¿Qué hace su programa Java que desea ejecutar en la GPU?
Debe tener en cuenta que la arquitectura de una GPU es bastante diferente a la de una CPU; los núcleos en una GPU no son núcleos de propósito general que pueden hacer cualquier cosa y funcionan de forma independiente, como en una CPU Intel x86. Para aprovechar realmente la arquitectura SIMD específica de una GPU, su código debe escribirse con esa arquitectura en mente.
http://gavab.escet.urjc.es/wiki/download/JavaOpenCL/Documentacion/JCUDA.pdf – duffymo
Una opción podría ser cerca Tilera que soporta Java en sus 100 procesadores centrales. –