Sim, em sistemas de 32 bits, com uma unidade aritmética de 32 bits na CPU, um número de 32 bits é limitado a 32 dígitos binários.
Claro, na maioria dos computadores, as coisas não são tão simples assim. O software pode fornecer suporte mais lento para recursos que não estão no hardware. Como esses bits são divididos entre (por exemplo) expoente e mantissa obviamente afeta o número de dígitos significativos que podem ser representados.
O artigo da Wikipédia é uma introdução útil.