Parte da memória é alocada para a placa de vídeo on-board. Você pode ser capaz de ajustar a quantidade de memória que a placa pode usar, no BIOS do sistema, mas você nunca verá os 4GB completos, já que a placa de vídeo deve ser alocada um pouco. Você poderia, teoricamente, desabilitar o vídeo on-board se o BIOS permitir, mas o sistema não teria vídeo, já que é um laptop.
Você não precisa forçar o PAE a ativar. O Ubuntu agora suporta apenas PAE para sistemas Intel de 32 bits. Então forcepae não faz nada, mas dá a você algumas mensagens extras no log sobre ele ser forçado.
A instalação dos pacotes linux-image-server
também não foi necessária. Você só vê 3,2 GB contra 4 GB, não está relacionado.
No meu sistema, com vídeo da Intel, tenho 32GB de RAM instalada, o que equivale a 33554432 kilobytes, enquanto os shows gratuitos têm 31860640 kB no total, ou seja, 30,39 GB. Alguma dessa diferença é a memória de vídeo alocada, e alguma dessa diferença é a memória do kernel.