Sim, você pode fazer isso em um arquivo de lote.
Basta escrevê-los como se estivesse digitando em uma janela de prompt de comando.
Então o seu bat.bat ficaria assim:
:: stop explorer and wait with executing the next bit
start "" "taskkill /IM explorer.exe /f" /wait
:: start it again
start "" explorer.exe /wait
:: é o mesmo que REM btw. Você pode omiti-lo no seu script.
Se você quiser reiniciar seu explorador, apenas execute o arquivo bat.bat.