Pergunta interessante.
Você está certo de que os SSDs podem, de fato, trabalhar com blocos e setores ruins devido aos controladores de memória que eles possuem - os flash drives padrão são consideravelmente mais simples e são menos propensos a possuir o código de correção de erros necessário até onde eu sei).
Pense nisso de outra perspectiva embora: No seu exemplo, você tem um cartão SD de 32GB. Claro, você poderia 'dividir ao meio' e trabalhar com 16 GB até o eventual tempo em que setores defeituosos pareciam causar problemas, então usar a 'outra metade'. MAS , se você o deixou como um cartão de 32 GB, ele exigiria duas vezes o número de setores defeituosos para atingir o ponto de falha (supondo que os setores são do mesmo tamanho), porque o cartão é o dobro tamanho daqueles divididos ao meio.
Ergo não é o tamanho do cartão, é a taxa em que as falhas ocorrem
De qualquer forma, não posso dizer exatamente como os sistemas operacionais tratariam tal situação, mas certamente é verdade que, quando os blocos e setores vão mal, a capacidade geral cai. Honestamente, é mais provável que você perca a coisa ou que ela fique obsoleta antes de atingir o limite de gravação de dados.