A principal diferença entre os dois é que:
You will lose your Public IP when you Stop and Start the instance, while the EIP remains linked to the instance even after the Stop/Start operation (or until you don't explicitly detach it from the instance)
Com relação aos custos, não há taxa recorrente que você pagará pelo uso do EIP, enquanto você o mantém anexado a uma instância em execução. Caso contrário, você terá que pagar pelo recurso alocado mas não usado.