Você pode usar vmstat
para ver algumas estatísticas de memória da sua máquina em geral. Verifique seu processo com ps vax
e dê uma olhada nas colunas RSS (tamanho do conjunto residente, a memória física não trocada que uma tarefa utilizou) e % MEM para tenha uma ideia da memória que seu processo requer.
Veja a página do manual ps para mais detalhes sobre as colunas.