O problema básico é sed
cria um novo arquivo. Isso é mostrado pelo extrato abaixo:
$ strace -fe trace=file,read,write,close sed -i '1d' /tmp/x.csv
....
openat(AT_FDCWD, "/tmp/x.csv", O_RDONLY) = 3
...
openat(AT_FDCWD, "/tmp/sed1nFxY1", O_RDWR|O_CREAT|O_EXCL, 0600) = 4
write(5, NULL, 0) = 0
read(3, "1,1,1,1\n2,2,2,2\n3,3,3,3\n", 4096) = 24
write(4, "2,2,2,2\n", 8) = 8
write(4, "3,3,3,3\n", 8) = 8
read(3, "", 4096) = 0
close(3) = 0
close(4) = 0
rename("/tmp/sed1nFxY1", "/tmp/x.csv") = 0
close(1) = 0
close(2) = 0
Não há, até onde eu sei, uma maneira fácil de truncar o início de um arquivo.
Eu sugiro que seu aplicativo python seja escutado em um soquete unix / tcp e, uma vez aceito, coloque esse fluxo no estrutura de registro e, em seguida, use nc ... | tail
para assistir a saída.