Você pode ver rápida e facilmente os números que ligaram para você ou ligou com uma consulta GROUP BY.
SELECT Caller from phonebook GROUP BY CALLER or SELECT [Person being called] from phonebook GROUP BY [person being called]
Se você quiser mesclar as duas colunas, use uma consulta UNION.
SELECT Caller AS A FROM phonebook UNION ALL SELECT [person being called] AS A from phonebook. Save that query. In a new query type SELECT A FROM [new query name] GROUP BY A
Talvez estudar SQL seja uma boa ideia. W3Schools é um bom recurso