Melhor que você filtre primeiro com uma Expressão regular e use um (grupo de captura) para aproveitar o dia,
para depois excluir seus dias especiais 05|15|28
Você não especificou uma extensão, portanto nem eu.
## Q:\Test18\SU_1342824.ps1
#Requires -Version 3.0
Push-Location "X:\Folder\to\start"
$RE = [RegEx]'^SageAccts Company Name 2018-[01][0-9]-([0-3][0-9]) [0-2][0-9]-[0-5][0-9]-[0-5][0-9]$'
## year- month -( day ) hour - minute - second
Get-ChildItem 'SageAccts Company Name 2018-*' -File |
Where-Object {$_.BaseName -match $RE} |
Where-Object {$Matches[1] -notmatch '05|15|28' }|
Remove-Item -Whatif
Se a saída estiver correta, remova o parâmetro -WhatIf
do Remove-Item
cmdlet
## to generate test files
1..30|%{new-Item -ItemType file -path ("SageAccts Company Name 2018-06-{0:00} 00-00-10.txt" -f $_)}