Seu uso de RAM é normal para o Ubuntu 16.04. Você pode usar qualquer ambiente de desktop que preferir ou instalar vários ambientes de área de trabalho para alternar de um DE para outro.
O tempo de acesso da memória principal é da ordem de nanossegundos e o tempo de acesso da unidade de disco rígido é da ordem de milissegundos. É normal que o Ubuntu 16.04 use até 1.5GB de RAM em modo inativo se o seu computador tiver muita RAM para evitar o uso de espaço de troca que é muito mais lento que a RAM.