Isto é um pouco leve em detalhes - você não menciona algumas informações vitais como o que é exatamente lento (é este acesso através de um driver, por exemplo). A replicação adiciona um pouco de carga ao primário, mas em geral é bastante leve.
Quais instâncias de tamanho você está executando e onde (replicando entre regiões etc.)? Você pode estar saturando sua largura de banda disponível ao adicionar os dados de replicação à mistura. Eu só esperaria que, no entanto, se você estivesse executando um aplicativo pesado de gravação ou se, talvez, você estivesse fazendo o escravo, o programa lê.
Por fim, como um guia geral para executar o MongoDB na AWS, confira este white paper:
E estas notas nos documentos oficiais: