Se você estiver usando pelo menos a versão 17.05 , o recurso de vários estágios pode fornecer uma solução simples ...
Basta adicionar isso ao final do Dockerfile:
[...]
FROM scratch
COPY --from=0 / /
CMD ["/bin/bash"]
Isso fará o "truque". Não há necessidade de opção "--squash". Apenas execute o comando:
sudo docker build -t smaller-centos smaller-centos
O resultado final é a imagem esperada de 178MB.