2 GB é suficiente, você só precisa de uma distribuição que não instale um conjunto completo do KDE / Gnome plus Office, Webbrowser, Mail, etc. por padrão. Se você precisar de alguns programas de GUI, você pode instalá-los individualmente mais tarde. O Debian, por exemplo, permite que você instale um sistema razoavelmente mínimo, assim como o Suse e outros.
Mais importante é a escolha do sistema de arquivos raiz. Eu não confiaria no hardware do cartão SD para fazer o nivelamento de desgaste para você, então um sistema de arquivos copy-on-write como o btrfs é recomendado. O Ext3 / 4 pode gravar constantemente em setores idênticos e reduzir significativamente a vida útil do cartão.