Depois de pegar alguns apontadores da resposta dada pelo DMA57361 acima, e mais alguns mexer, notei que muito tempo atrás no meu .vimrc eu tinha esse comando set expandtab
(ele expande as abas em espaços) e uso vim.
Isso estava estragando o caractere de tabulação que eu estava inserindo nas minhas regras do Makefile. Comentando essa linha no .vimrc ajudou e está trabalhando para mim.