Se você quiser excluir uma linha, em que há uma célula em branco na coluna A, por exemplo, um comando rápido do VBA fará isso:
Range("A:A").SpecialCells(xlCellTypeBlanks).EntireRow.Delete
.
Ou você pode simplesmente limpar essas células,
Range("A:A").SpecialCells(xlCellTypeBlanks).Clear
.
Uma maneira rápida seria abrir a Janela Imediata (pressione CTRL + G ) no VBEditor (que você pode acessar com ALT + F11 e digite isso, e pressione ENTER (teste em uma pasta de trabalho de amostra porque você pode não ser capaz de desfazer isso).