Este link pode ajudar:
Algumas explicações muito boas lá.
tty significa teletipo - os terminais originais usavam uma impressora de linha para saída (ao contrário de uma tela ou terminal como você encontra hoje) e um teclado para entrada. Um pty é um pseudo-terminal.
Ambos os termos sobreviveram aos anais do tempo.