Você pode usar Copy-Item
parâmetro -Exclude
. É necessária uma coleção de nomes de arquivos que podem conter curingas e evita copiá-los. Então você pode mudar esta linha:
Copy-Item -ErrorAction silentlyContinue -recurse $currentLocalFolder $currentRemoteFolder
Para isso (observe o parâmetro extra perto do começo):
Copy-Item -Exclude '*.mp3', '*.exe' -ErrorAction silentlyContinue -recurse $currentLocalFolder $currentRemoteFolder
Você pode adicionar quantas exclusões desejar.