Isso é explicado em detalhes em a documentação do serviço systemd , mas você praticamente preciso ler tudo isso para entender o que está acontecendo. A parte mais pertinente neste caso é o exemplo 3; a partir disso, o leitor pode obter um serviço personalizado, já que você declarou que ele nunca fica ativo, portanto, sua ação de interrupção será executada assim que a ação de início for concluída.
Para conseguir o que você procura, você precisa de um serviço personalizado que, no entanto, se torne ativo:
[Unit]
Description=delete file
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStop=/bin/bash /home/mytest.sh
[Install]
WantedBy=multi-user.target