Centrale monitoring voor broadcast en IT met Zabbix

Eén plek voor alle onderdelen

Een broadcastomgeving bestaat uit veel verschillende onderdelen: encoders, audioprocessors, playout- en mengsoftware, routers en firewalls, VPN-verbindingen, UPS’en, servers en opslag. Bij NOMOBO / OS Studios staan die verspreid over meerdere locaties en in de cloud. Een storing in één schakel kan een uitzending raken, en die wil je zien voordat de luisteraar of kijker hem merkt. Daarvoor was één overzichtelijke, zelf te beheren monitoringomgeving nodig die ook broadcastspecifieke apparatuur en software begrijpt.

De opzet

Wij hebben een centrale monitoringomgeving gebouwd op basis van Zabbix, gevirtualiseerd op Proxmox VE. Op elke locatie staat een Zabbix-proxy die de gegevens ter plekke verzamelt en doorstuurt naar de centrale server. Valt de verbinding weg, dan houdt de proxy de gegevens vast tot die weer beschikbaar is. Verkeer over het publieke internet is versleuteld. Voor de dashboards is Grafana aan Zabbix gekoppeld.

Templates voor broadcastapparatuur

Voor veel broadcastapparatuur en -software bestaan geen bruikbare standaardtemplates. Die hebben wij zelf geschreven, met een vaste naamgeving en een eigen standaard. Ze dekken onder meer Haivision Makito X4-encoders, netwerkapparatuur van Cisco, FortiGate en Peplink, UPS’en van Eaton en APC, Synology-opslag, Proxmox Backup Server en energiemeting.

Voorbeeld: de verbinding naar AWS

Voor de videostreams van Amsterdam naar AWS bewaken wij twee verbindingen naast elkaar: een via het publieke internet en een privéverbinding. Daarbij meten wij niet alleen de verbinding zelf, maar ook een doorlopend testsignaal dat op dezelfde manier wordt verstuurd als de echte stream. Zo komt een verslechtering al in beeld voordat er in de uitzending iets wegvalt. Omdat beide verbindingen naast elkaar worden gemeten, is ook snel te zien waar een probleem zit: bij de internetverbinding, de privéverbinding of het lokale netwerk.

Het resultaat

Netwerk, apparatuur, software en streams zijn op alle locaties vanuit één omgeving te volgen. Een stille stream, een uitgevallen encoder, een UPS op batterij of een haperende verbinding komt direct als melding binnen, vaak voordat het in de uitzending te merken is. Een nieuwe locatie of een nieuw apparaat wordt gekoppeld met een bestaande proxy-opzet en template, zodat de omgeving meegroeit.