Sem entrar nos detalhes técnicos (o que eu estaria errado de qualquer maneira), o próprio hardware do computador é projetado e construído de forma que cada endereço se refira a um byte, ou 2 bytes ou 4 bytes, ou o que for. O sistema operacional não tem escolha no assunto; deve ser escrito para se adequar ao design do hardware.
A maioria, provavelmente todos, os computadores em execução hoje são endereçáveis por byte e um byte é de 8 bits. Designs anteriores foram diferentes.
O número de bits em um endereço determina o número de endereços. O número de bits armazenados em um endereço é especificado pelo design; haverá um pino e uma linha para transportar os dados. Multiplique esses números para obter o número máximo de bits que podem ser armazenados.
Para responder à sua pergunta real: é a RAM em si - sim, CPU - sim, ou qualquer outra coisa - sim, a placa-mãe e o chipset. Tudo isso deve ser projetado para funcionar em conjunto e todos precisam concordar com o tamanho e o endereçamento de bytes.