Na verdade, Xms e Xmx determinam o lmit do tamanho do heap, mas existem outras regiões de memória: Stack (Xss x Número de Threads) + PermGen + CodeCahe (48 MB por padrão no Java 7) + Memória Direta.
Em geral, eles adicionam aproximadamente 1/2 GB se não houver especificações.