Você pode fazer isso, mas não diretamente. O Excel não pode plotar "letras" em um gráfico de dispersão (xy). No entanto, é fácil contornar essa limitação, atribuindo um valor numérico a cada letra / valor não numérico que você deseja representar.
Assim, no seu exemplo, adicione uma coluna e preencha-a com valores onde A = 1, B = 2, C = 3, D = 4 e, em seguida, use o valor numérico para seus valores Y (vertical).
Seu gráfico corresponderia ao seu exemplo: