tar não é uma ferramenta de compactação, apenas use gzip para compactar um único arquivo.
Você pode canalizar gzip -c para tftp -l /dev/stdin no shell do busybox. Por exemplo:
gzip -c /dev/mtdblock3 | tftp -l /dev/stdin -r mtdblock3.gz -p 192.168.100.40
Se não houver /dev/stdin , tente com /proc/self/fd/0 .