Você pode inspecionar os erros fornecidos pelo cmdlet Remove-Item . Use o parâmetro ErrorVariable em Remote-Item para armazenar seus erros em uma variável e, em seguida, percorra-os, exibindo apenas os erros desejados.
Get-ChildItem * -Include *.csv -recurse | ForEach-Object {
$removeErrors = @()
$_ | Remove-Item -ErrorAction SilentlyContinue -ErrorVariable removeErrors
$removeErrors | where-object { $_.Exception.Message -notlike '*it is being used by another process*' }
}