Quando você executa um aplicativo no eclipse, ele cria um thread separado no sistema operacional. O uso de RAM desse segmento não pode ser controlado pelo eclipse.
Uma maneira de evitar o travamento do seu sistema é aumentar o tamanho da partição de swap. Mesmo neste caso, o sistema fica muito lento, mas não falha.
Existem outras maneiras de controlar o uso de RAM de um aplicativo, por exemplo, matar o programa quando o uso ultrapassar um determinado valor. Se você definir limites tão rígidos para o uso da memória, poderá se deparar com alguns comportamentos / falhas imprevisíveis. Veja os links abaixo que falam sobre como limitar o uso de RAM.
Eu recomendaria tentar otimizar seu código para fazê-lo usar menos memória RAM ou pensar em alguma maneira de despejar os dados no disco rígido e lê-los quando necessário, em vez de retê-los na RAM. Melhor ainda é aumentar a RAM!