O Windows de 32 bits não garante que qualquer quantidade de RAM seja acessível. Geralmente é entre 3,3-3,5 GB, mas depende do seu hardware e de como a BIOS mapeia a memória. Alguns sistemas relatam apenas 3 GB utilizáveis, alguns serão executados com 3,7 GB ou mais. É muito provável que o Windows de 32 bits seja o culpado.
Você pode baixar a versão de 64-bit do Ubuntu , fazer um disco flash USB inicializável, inicializá-lo e ver se ele detecta 4 GB de RAM. Isso não afetará o seu sistema e você terá certeza.