Para que um sistema seja inicializado, ele precisa de um dispositivo com algum tipo de gerenciador de inicialização. Por exemplo, no Linux, o grub e o LiLo são os dois mais populares, enquanto o Windows NT e acima usam o NTLDR (NT Loader). Essas funções informam ao sistema como carregar o restante do sistema operacional e, sem algum tipo de código de inicialização, o código na sua unidade flash não será executado.
Quando você formata o pen drive e o torna inicializável, você configura um switch no dispositivo ou na partição que explica ao BIOS "HEY! Tenho informações de inicialização para você ler e executar!". A BIOS vê isso, se é a vez daquele dispositivo inicializar, então executa o código. Sem ele, o BIOS iria simplesmente pular para o próximo dispositivo e ignorar o drive USB até que o sistema operacional o solicitasse.