Você precisa dos cabeçalhos do Linux quando planeja desenvolver e compilar a máquina onde você instalou o Ubuntu.
Se você criar um appliance dedicado a uma tarefa específica, certamente não estará disposto a compilá-lo.
Se você precisar compilar seu próprio aplicativo, você fará isso em um sistema diferente. Um desenvolvimento e copie o código compilado para o dispositivo.