Eu finalmente consegui que funcionasse depois de criar /etc/OpenCL/vendors/nvidia.icd file e libnvidia-opencl.so.1 dentro. Eu também mudei de volta para o driver nvidia-current antes, mas tenho certeza que ainda funcionaria com os experimentais.
Eu encontrei uma solução aqui .