Você pode interromper sua instância, clicar com o botão direito e, em seguida, em Configurações da instância - > Alterar o tipo de instância.
Você pode aumentar ou diminuir o tamanho da instância conforme necessário.
Dito isto, se funcionar bem no seu laptop, a quantidade de memória alocada para a instância não é um problema. É provável que você tenha algo em sua configuração fazendo com que ele sobrecarregue a RAM para o processo NumPy.