Como você pode ter um Linux de 32 bits instalado em uma máquina de 64 bits, a maneira mais segura parece estar verificando os recursos da CPU. Para processadores Intel e compatíveis:
grep -o -w 'lm' /proc/cpuinfo
What you're looking for is the following flag: lm. It stands for X86_FEATURE_LM, the Long Mode (64bit) support. If you can find the "lm" flag among your CPU flags, this means you're looking at a 64bit capable processor.