Seguindo a filosofia Unix, você tem uma ferramenta que lista processos usando uma determinada GPU e uma ferramenta que mata processos. Combine-os usando construções de shell e ferramentas de processamento de texto.
Por exemplo, para matar todos os processos usando GPU 2, você pode executar o seguinte comando:
kill $(nvidia-smi | awk '$2=="Processes:" {p=1} p && $2 == 2 && $3 > 0 {print $3}')
ou
kill $(nvidia-smi -g 2 | awk '$2=="Processes:" {p=1} p && $3 > 0 {print $3}')