Ok, achei o que estava errado. Depois de configurar o ssh, ainda me pediram uma senha. Meu script python foi chamado com
sudo python3.5 myscript.py
O sudo estava lá porque eu tinha erros de permissão sem ele. Eu resolvi os erros de permissão, removi o sudo e o script parou de pedir minha senha. No final, eu ainda configurar o ssh novamente, eu achei este segmento muito útil: link
Obrigado :)