A memória virtual não vem em bytes únicos. Uma unidade mínima de memória que você pode alocar, compartilhar, mapear, trocar, travar etc. é uma página de (normalmente) 4096 bytes.
O espaço de endereço inteiro (4GB) é dividido em 1Mi dessas páginas. É por isso que a tabela inteira contém 1Mi de entradas de 4 bytes cada, o que é exatamente 4 MB.