O mais perto que cheguei foi iniciar o Firefox com um novo perfil, remover (a maioria) os botões e depois criar um atalho não para o URL, mas para o executável FF: C:\Program Files (x86)\Mozilla Firefox\firefox.exe" -no-remote -profile d:\temp\newprofile -height 400 -width 400 http://www.google.com
. Veja aqui para mais opções.
A barra de endereço não pode ser removida dessa maneira, mas parece que você pode fazer isso adicionando #nav-bar { display: none !important; }
a userChrome.css , que deve estar na subpasta chrome da pasta de perfil. Se não estiver lá, crie-o manualmente e reinicie o Firefox.
A opção -no-remote garante que o perfil especificado será usado, mesmo se o Firefox já estiver sendo executado em outro perfil.