O mesmo problema aqui. Eu notei que o dmesg deu essa linha quando ela não estava conectada:
mmc0: Timeout waiting for hardware interrupt.
Uma pesquisa em torno desse termo levou-me a este tópico que sugeria:
sudo rmmod tg3
sudo modprobe tg3
O que corrige o problema assim que você remove o módulo tg3. Também observei que, embora o leitor não funcione sem energia ou com a correção acima, ele continuará funcionando se você o desconectar enquanto estiver montado.