Depende se o seu teclado suporta emparelhamento simultâneo com vários dispositivos ou não.
A maioria dos teclados suporta apenas um dispositivo pareado. Por exemplo. No momento em que você faz par com seu segundo computador, ele esquece o primeiro par, então quando você quiser usá-lo novamente com o seu primeiro computador, você precisa emparelhá-lo novamente.
Alguns teclados suportam o emparelhamento com vários dispositivos, assim como seu handsfree Bluetooth pode emparelhar com vários telefones, etc.
Leia o manual do seu teclado, se ele não disser que pode emparelhar com vários dispositivos, provavelmente não o fará.