Na pasta da SDK (geralmente ~/NVIDIA_CUDA_SDK/), tem a pasta doc, que tem um release notes. Lá ele informa como setar as variáveis PATH e LD_LIBRARY_PATH, que precisam ser "corrigidas" para que o compilador encontre as informações.
Espero que ajude.
Fórum