Não, não é possível. Eles usam diferentes formatos binários, usam diferentes convenções de chamada, diferentes conjuntos de instruções, diferentes métodos syscall, diferentes ... tudo.
root@el6 ~ # file /lib/libc-2.12.so
/lib/libc-2.12.so: ELF 32-bit LSB shared object, Intel 80386, [...]
root@el6 ~ # file /lib64/libc-2.12.so
/lib64/libc-2.12.so: ELF 64-bit LSB shared object, x86-64, [...]
O binário de 32 bits precisa de bibliotecas de 32 bits, binários de 64 bits precisam de bibliotecas de 64 bits. Se você quiser que seu aplicativo use a compilação libc de 64 bits sem o -m32 como um aplicativo de 64 bits.