No servidor:
$ cd /path/to/directory/
$ git init
$ git add .
$ git commit -m 'Initial commit'
Isso configura o repositório básico e adiciona todos os arquivos em /path/to/directory
a ele.
No laptop:
$ git clone username@server:/path/to/directory/
git irá se conectar ao ssh para recuperar e clonar o repositório.
Neste ponto, você pode fazer alterações, confirmá-las e fazer git push
e enviará os novos commits sobre o ssh para o repositório.
Como você descreveu uma configuração simples de você e de mais ninguém, trabalhar com o ssh deve estar bem. Você não precisa configurar um daemon git.
Há mais algumas informações aqui:
Na verdade, deve haver muitos tutoriais se você olhar em volta.