La soluzione che praticamente ovunque leggo: https://github.com/nfarina/homebridge/issues/1241 è quella di disabilitare IPv6 praticamente ovunque.
Quindi seguite questo: https://marcotini.com/disabilitare-ipv6-raspberry-pi/
E nel caso abbiate Avahi installato per altri motivi, questo https://marcotini.com/disabilitare-ipv6-avahi/