Você não precisa de cat ou xargs para isso: basta um read em um loop:
while read -r IP;do
ssh me@$IP echo "text" > file
reboot
done < ips.txt
Para referência futura, o que você deseja para xargs pode ser obtido com a opção -I : você fornece um nome depois de -I e todas as instâncias desse nome no próprio comando serão substituídas pelos argumentos xargs recebe no tubo:
... | xargs -L 1 -I myip ssh me@myip 'echo "text">file;reboot'