Você pode usar isso:
for c in {A..Z}; do
echo -n "$c: "
tr ' ' '\n' < dico.txt | grep $c | wc -l
done
Funciona da seguinte forma: O loop for percorre cada caractere de A a Z. tr
substitui todos os espaços por novas linhas, portanto, cada palavra tem sua própria linha. Então grep
procura o caractere na palavra e o imprime se o caractere for encontrado. wc
conta essas linhas.