Sim, você precisa iniciar uma instância no cluster.
Um cluster Aurora tem um volume de armazenamento Aurora com seus dados e 0 ou mais instâncias que podem acessá-lo. Você não pode realmente acessar os dados de um cluster, a menos que tenha pelo menos uma instância no cluster.
O motivo dessa abstração é que, diferentemente de um servidor de banco de dados convencional, em que os dados estão "no servidor" e onde você tem um servidor mestre e, às vezes, uma ou mais réplicas, cada uma com uma cópia dos dados, mestre e réplicas gravam e lêem do mesmo armazenamento, e qualquer réplica pode ser promovida para se tornar o mestre se o mestre falhar.
O console esconde um pouco disso, se você provisionar Aurora a partir daí.