O suporte CUDA para computação em segundo plano está incluído nos drivers proprietários da nVidia, pelo menos desde 2014 (possivelmente há mais tempo do que isso). Eu executo tarefas CUDA em segundo plano (tarefas Einstein @ Home GPU) 24 horas por dia, 7 dias por semana em minha máquina desktop e não vejo interferências de alguma forma com o uso normal da máquina para navegação na Web, processamento de texto e até jogos com muitos gráficos do Exílio, por um).
Não me lembro de fazer nada de especial, além de ter uma placa de vídeo que suporte um ou mais núcleos CUDA e drivers atualizados da nVidia.