O script a seguir deve fazer o que você deseja:
#!/bin/bash
name=$1
matchingStarted=$(docker ps --filter="name=$name" -q | xargs)
[[ -n $matchingStarted ]] && docker stop $matchingStarted
matching=$(docker ps -a --filter="name=$name" -q | xargs)
[[ -n $matching ]] && docker rm $matching
Basicamente, ele verifica se há um contêiner em execução com o nome fornecido e o interrompe se encontrar um. Em seguida, remova qualquer contêiner com o nome fornecido.
Nota : Você pode querer adicionar alguma validação de argumento, como se usado sem argumento, este script irá parar todos os contêineres em execução e excluir todos os contêineres parados. Eu não adicionei aqui para mantê-lo simples e fácil de ler.