Descobri isso finalmente. Eu instalei o EPEL Repos e fiz o seguinte (para o CentOS):
# Install collectd-ping plugin. See http://www.rpmfind.net//linux/RPM/fedora/devel/rawhide/x86_64/c/collectd-ping-5.4.1-2.fc21.x86_64.html and above for versions
yum install collectd-ping.x86_64
cp /usr/lib64/collectd/ping.so /opt/collectd/lib/collectd/
Agora, quando executo o collectd, não recebo o meu erro antigo: "Encontrei uma configuração para o plugin 'ping', mas o plugin não está carregado ou não registrou um callback de configuração."
Eu recebo outro erro "ping plugin: ping_host_add (10.0.1.29) falhou: não existe tal dispositivo", mas de googling e olhando para o Collectd FAQ, este deve ser mais fácil de resolver!