Eu faço isso o tempo todo. Nenhuma ação de gravação é executada em somente leitura. Os braços se retraem automaticamente, seja por força magnética ou por algum reservatório de energia que se encaixe quando a força do disco é puxada. É mais provável que você receba erros de transferência da conexão ruim, mas felizmente uma porta miniUSB fêmea custa tão pouco que você pode reparar isso sozinho. Se você empurrou e puxou essa porta, provavelmente é apenas uma conexão solta. Não desperdice dinheiro em um novo disco, pergunte no EE.SE o que fazer.
Você provavelmente está pensando em discos do mundo antigo, que falhariam de maneiras misteriosas se a energia fosse removida sem uma desmontagem limpa. Eu não tive esses problemas desde que parei de usar discos ATA (por algum motivo). Isso não acontece nos discos modernos.