Certifique-se de construir o sistema de arquivos que você deseja diretamente no kernel e não como um módulo.
O SquashFS é somente leitura, então você não pode usar isso sozinho. Talvez seja melhor inicializar a partir do initramfs e depois carregar o root de uma imagem, mas essa é a sua chamada.