O computador que exibe o aplicativo em seu monitor (computador B) é o servidor X . O outro computador (A) é o servidor ssh . O que é o servidor depende do contexto, mas pessoalmente, eu normalmente mencionaria o servidor ssh (A) como o “servidor”.
O computador B usa alguns recursos para desenhar as janelas (e, se você configurou: reproduzir som), enquanto o computador A fará todos os outros cálculos.
Normalmente, o trabalho do computador B requer menos recursos que o computador A. O computador A fará a maior parte do trabalho e apenas enviará os resultados para B: desenhe uma linha aqui, colora essa área em preto, etc.
Leia o artigo X Window System na Wikipedia para saber mais sobre os servidores e clientes X.