Parece que você está reutilizando o mesmo diretório de compilação para a compilação cruzada usada para a compilação nativa original. O programa 'make' não sabe que você mudou o toolchains, e não considera o arquivo objeto (main.o) desatualizado - então ele não tenta recompilá-lo, ele simplesmente pula direto para a etapa do link - que falha porque está tentando vincular um objeto ELF nativo a bibliotecas estrangeiras (mingw).
Tente executar um make clean
ou rm src/*.o
antes do make
forçar a recompilação completa.