Isso funciona porque sua expressão test3y* não corresponde a nenhum nome de arquivo no diretório, por isso não é expandida para nada e é passada para grep literalmente tornando a regex válida ( y* = y may ocorrem zero ou mais vezes nessa posição).
Você ainda deve sempre citar sua regex!