Eu acho que uma versão muito simplificada do busybox (apenas um shell básico e algumas ferramentas de configuração de rede que você pode precisar para configurar a rede) com a adição de dropbear como cliente ssh (estaticamente linkado) estará bem abaixo dos 11mb que você mencionou. Eu diria que cerca de 1-2mb seria suficiente, mas você poderia reduzi-lo ainda mais. Além disso, adicione um kernel mínimo próximo.
Depende um pouco do seu arco e assim por diante (ou seja, dropbear estaticamente vinculado para um sistema MIPS que tenho aqui é em torno de 200kb, um busybox básico pode caber em 500kb ou mais facilmente).