Tomando seus critérios literalmente "Err" no nome da imagem. Se você deseja estender isso para incluir "err", converta o nome da imagem para maiúsculas ou minúsculas e procure por InStr.
Sub deleteErrPics()
For Each pic In ActiveSheet.Shapes
If InStr(1, pic.Name, "Err") <> 0 Then pic.Delete
Next pic
End Sub