A mensagem gerada pelo iptables ao rejeitar uma conexão é uma mensagem ICMP. Há um número limitado de mensagens ICMP definidas nas RFCs.
A mensagem de destino inacessível (ICMP tipo 3) é definida em RFC792 . Ele possui vários códigos associados, um dos quais é Port Unreachable (código 3). A mensagem de erro no cliente é gerada pelo próprio cliente ao receber o tipo e o código do ICMP.
Como você pode ver neste arquivo Wireshark:
Portanto, não, você não pode adicionar suas próprias mensagens de erro no nível do TCP.