Tengo el código CUDA que quiero construir una biblioteca dinámica para Python usando distutils. Pero parece que distutils no reconoce el archivo ".cu" incluso si el compilador "nvcc" está instalado. No estoy seguro de cómo hacerlo.¿Puede python distutils compilar código CUDA?
Respuesta
Distutils no puede compilar CUDA de manera predeterminada, ya que no admite el uso simultáneo de varios compiladores. De manera predeterminada, establece al compilador solo en función de su plataforma, no del tipo de código fuente que tenga.
Tengo un proyecto de ejemplo en github que contiene algunos parches de mono en distutils para hackear en apoyo de esto. El proyecto de ejemplo es una clase de C++ que administra una cierta memoria de GPU y un kernel CUDA, envuelto en swig y todo compilado con solo python setup.py install
. La atención se centra en las operaciones de matriz, por lo que también estamos usando numpy. Todo lo que hace el kernel para este proyecto de ejemplo es incrementar cada elemento de una matriz en uno.
El código está aquí: https://github.com/rmcgibbo/npcuda-example. Aquí está el script setup.py. La clave del código completo es customize_compiler_for_nvcc()
.
import os
from os.path import join as pjoin
from setuptools import setup
from distutils.extension import Extension
from distutils.command.build_ext import build_ext
import subprocess
import numpy
def find_in_path(name, path):
"Find a file in a search path"
#adapted fom http://code.activestate.com/recipes/52224-find-a-file-given-a-search-path/
for dir in path.split(os.pathsep):
binpath = pjoin(dir, name)
if os.path.exists(binpath):
return os.path.abspath(binpath)
return None
def locate_cuda():
"""Locate the CUDA environment on the system
Returns a dict with keys 'home', 'nvcc', 'include', and 'lib64'
and values giving the absolute path to each directory.
Starts by looking for the CUDAHOME env variable. If not found, everything
is based on finding 'nvcc' in the PATH.
"""
# first check if the CUDAHOME env variable is in use
if 'CUDAHOME' in os.environ:
home = os.environ['CUDAHOME']
nvcc = pjoin(home, 'bin', 'nvcc')
else:
# otherwise, search the PATH for NVCC
nvcc = find_in_path('nvcc', os.environ['PATH'])
if nvcc is None:
raise EnvironmentError('The nvcc binary could not be '
'located in your $PATH. Either add it to your path, or set $CUDAHOME')
home = os.path.dirname(os.path.dirname(nvcc))
cudaconfig = {'home':home, 'nvcc':nvcc,
'include': pjoin(home, 'include'),
'lib64': pjoin(home, 'lib64')}
for k, v in cudaconfig.iteritems():
if not os.path.exists(v):
raise EnvironmentError('The CUDA %s path could not be located in %s' % (k, v))
return cudaconfig
CUDA = locate_cuda()
# Obtain the numpy include directory. This logic works across numpy versions.
try:
numpy_include = numpy.get_include()
except AttributeError:
numpy_include = numpy.get_numpy_include()
ext = Extension('_gpuadder',
sources=['src/swig_wrap.cpp', 'src/manager.cu'],
library_dirs=[CUDA['lib64']],
libraries=['cudart'],
runtime_library_dirs=[CUDA['lib64']],
# this syntax is specific to this build system
# we're only going to use certain compiler args with nvcc and not with gcc
# the implementation of this trick is in customize_compiler() below
extra_compile_args={'gcc': [],
'nvcc': ['-arch=sm_20', '--ptxas-options=-v', '-c', '--compiler-options', "'-fPIC'"]},
include_dirs = [numpy_include, CUDA['include'], 'src'])
# check for swig
if find_in_path('swig', os.environ['PATH']):
subprocess.check_call('swig -python -c++ -o src/swig_wrap.cpp src/swig.i', shell=True)
else:
raise EnvironmentError('the swig executable was not found in your PATH')
def customize_compiler_for_nvcc(self):
"""inject deep into distutils to customize how the dispatch
to gcc/nvcc works.
If you subclass UnixCCompiler, it's not trivial to get your subclass
injected in, and still have the right customizations (i.e.
distutils.sysconfig.customize_compiler) run on it. So instead of going
the OO route, I have this. Note, it's kindof like a wierd functional
subclassing going on."""
# tell the compiler it can processes .cu
self.src_extensions.append('.cu')
# save references to the default compiler_so and _comple methods
default_compiler_so = self.compiler_so
super = self._compile
# now redefine the _compile method. This gets executed for each
# object but distutils doesn't have the ability to change compilers
# based on source extension: we add it.
def _compile(obj, src, ext, cc_args, extra_postargs, pp_opts):
if os.path.splitext(src)[1] == '.cu':
# use the cuda for .cu files
self.set_executable('compiler_so', CUDA['nvcc'])
# use only a subset of the extra_postargs, which are 1-1 translated
# from the extra_compile_args in the Extension class
postargs = extra_postargs['nvcc']
else:
postargs = extra_postargs['gcc']
super(obj, src, ext, cc_args, postargs, pp_opts)
# reset the default compiler_so, which we might have changed for cuda
self.compiler_so = default_compiler_so
# inject our redefined _compile method into the class
self._compile = _compile
# run the customize_compiler
class custom_build_ext(build_ext):
def build_extensions(self):
customize_compiler_for_nvcc(self.compiler)
build_ext.build_extensions(self)
setup(name='gpuadder',
# random metadata. there's more you can supploy
author='Robert McGibbon',
version='0.1',
# this is necessary so that the swigged python file gets picked up
py_modules=['gpuadder'],
package_dir={'': 'src'},
ext_modules = [ext],
# inject our custom trigger
cmdclass={'build_ext': custom_build_ext},
# since the package has c code, the egg cannot be zipped
zip_safe=False)
Es una especie de vieja pregunta, pero ¿tiene alguna idea de cómo hacer esto en Windows? El problema es que ** msvccompiler ** no usa el método ** _ compile **. – rAyyy
- 1. cómo instalar python distutils
- 2. distutils Python no incluyen data_files
- 3. Compilar DLL desde el código python
- 4. en distutils
- 5. distutils Python no usar la versión correcta de gcc
- 6. Compilar CUDA sin Visual Studio - "No se puede encontrar el compilador cl.exe en la ruta"
- 7. ¿Puede CUDA usar extensiones SIMD?
- 8. Comandos de distutils personalizados
- 9. ¿Cómo puedo compilar el código CUDA y luego vincularlo a un proyecto C++?
- 10. ¿Por qué no se puede encontrar libcudart.so.4 al compilar los ejemplos de CUDA en Ubuntu?
- 11. ¿Se puede compilar un código groovy para ejecutar en JRE?
- 12. No se puede compilar código cuando se trabaja con CALayer
- 13. Configurar módulos de extensión con distutils/setuptools
- 14. Acelerando el proceso de compilación con distutils
- 15. ¿Es factible compilar Python para código de máquina?
- 16. no puede compilar Rust
- 17. distutils, distutils2, pip y requerimientos
- 18. Dependencias opcionales en distutils/pip
- 19. Embalaje de State of Python: Buildout, Distribute, Distutils, EasyInstall, etc.
- 20. Distribuya el módulo de extensión de python precompilado con distutils
- 21. ¿Cómo compilar y ejecutar código dinámicamente?
- 22. Cómo compilar código VB6 heredado
- 23. ¿Puede javac compilar desde stdin?
- 24. Cómo desencadenar post-compilación usando setuptools/distutils
- 25. cómo compilar código no seguro en C#
- 26. No se puede compilar C++ con gcc
- 27. ¿Cómo se puede compilar el proyecto C++/Cython en un ejecutable?
- 28. Usando openMP en el código de host de cuda?
- 29. memoria CUDA preocupa
- 30. no puede compilar las enumeraciones en Eclipse
¿Puedes publicar un código para que podamos ver lo que has probado? Además, si el kernel CUDA es la parte clave, podría intentar usar PyCUDA para que esté disponible para python. –
¿Qué quiere decir con "no reconoce"? No incluye archivos .cu al huevo? Agregue package_data = {'': ['* .cu']} a su configuración (...) luego. –