Usando o FireFox 31 no Windows 7 (Pro 64-bit), aqui está o que eu descobri.
Definir o atalho para executá-lo como "Minimizado" funciona conforme o esperado, A MENOS QUE O FF estivesse no modo de tela cheia (maximizado) quando você fechou por último; se assim for, então ele irá abrir Maximized, independentemente da configuração do atalho.
Abra o FF, restaure-o em um estado de janela e feche-o. Em seguida, ele irá respeitar a opção Minimized start-up no atalho da próxima vez que você tentar abri-lo.