Você também pode experimentar o romfs, mas duvido que você o ache mais rápido que o ext4. Eu sugiro que você fique com o ext4 e não se preocupe com isso. Montá-lo somente para leitura também não lhe dará nenhum desempenho; apenas certifique-se de não modificar acidentalmente os arquivos.