diff --git a/docu/docs/modul/multicast.md b/docu/docs/modul/multicast.md index 151c6e3..6cd8463 100644 --- a/docu/docs/modul/multicast.md +++ b/docu/docs/modul/multicast.md @@ -2,45 +2,30 @@ --- ## Beschreibung -Mit diesem Modul können Multicast-Alarme verarbeitet werden. Dabei wird eine Alarmnachricht automatisch an mehrere Empfänger (RICs) verteilt. +Das Multicast-Modul verarbeitet komplexe Alarmsequenzen, bei denen eine Nachricht (Text-RIC) an eine Liste zuvor gesendeter Empfänger (Tone-RICs) verteilt wird. Es sorgt dafür, dass jeder Empfänger ein individuelles Paket mit dem Alarmtext erhält. -### Funktionsweise -Multicast-Alarme funktionieren in zwei bis drei Phasen: - -1. **Delimiter-Phase (Optional)**: Ein spezieller Delimiter-RIC markiert den Start eines neuen Multicast-Blocks und löscht vorherige wartende Tone-RICs. Der Delimiter selbst wird nicht als Alarm ausgegeben (automatische Filterung). Diese Phase ist optional - ohne Delimiter werden alle leeren Nachrichten als Tone-RICs behandelt. - -2. **Tone-RIC-Phase**: Mehrere RICs empfangen (meist) leere Nachrichten. Diese definieren die Empfänger und "registrieren" sich im Modul als Empfänger für die nächste Multicast-Nachricht. - -3. **Text-RIC**: Ein spezieller Message-RIC empfängt die eigentliche Alarmnachricht. Diese wird dann automatisch an alle zuvor gesammelten Tone-RICs verteilt. - -**Beispiel:** -``` -10:31:16 - RIC: 0123456 SubRIC: 1 Message: (leer) → Delimiter-RIC -10:31:16 - RIC: 0234567 SubRIC: 4 Message: (leer) → Empfänger 1 -10:31:16 - RIC: 0345678 SubRIC: 3 Message: (leer) → Empfänger 2 -10:31:17 - RIC: 0456789 SubRIC: 1 Message: "B3 WOHNHAUS" → Message-RIC - -Generierte Alarme: -→ RIC: 0234567 SubRIC: 4 Message: "B3 WOHNHAUS" -→ RIC: 0345678 SubRIC: 3 Message: "B3 WOHNHAUS" -``` - -**Wichtig:** Jeder Empfänger behält seine ursprüngliche SubRIC, da diese oft unterschiedliche Alarmtypen oder Prioritäten repräsentiert. +Das Modul filtert keine inhaltlich relevanten Pakete. Alle Pakete mit Alarminhalt werden mit `multicastRole` markiert und weitergereicht. Die Filterung nach Bedarf erfolgt nachgelagert, z.B. mit `filter.regexFilter`. Das Modul unterstützt: -- Mehrere Startmarker (Delimiter) -- Mehrere Text-RICs -- Netzident-RIC zur Paketmarkierung -- Automatische Bereinigung alter Tone-RICs (Fehlerfall: Auto-Clear) -- Active Trigger System zur verlustfreien Paketauslieferung -- Wildcards für spätere Weiterverarbeitung -- Frequenz-basierte Trennung -- Multi-Instanz-Betrieb mit geteiltem Zustand +- **Multi-Instance Support:** Vollständige Isolation bei parallelem Betrieb in verschiedenen Routen. +- **Frequenz-Trennung:** Verhindert die Vermischung von Alarmen auf unterschiedlichen Kanälen. +- **Active Trigger System:** Nutzt TCP-Loopback, um auch bei Inaktivität des Funkkanals Timeouts sicher zu verarbeiten. +- **Dynamische Listen:** Generiert aggregierte Listenfelder (z. B. {RIC_LIST}) für Sammel-Alarmierungen. +- **Metadaten-Enrichment:** Markiert Pakete präzise für nachgelagerte Filter (z. B. RegEx). -Hinweis: Der Delimiter-RIC (0123456) wird mit multicastRole: delimiter markiert und durchgereicht. Downstream-Filter (z.B. filter.regexFilter) können ihn bei Bedarf ausfiltern. +### Funktionsweise +Multicast-Alarme funktionieren in zwei bis vier Phasen: +**Wichtig:** Das Modul arbeitet verzögert bei der Ausgabe der Text-RICs, um die Pakete anzureichern. -**Wichtig:** Die Text-RIC (Message-RIC) wird **nicht als separates Paket ausgegeben**. Sie dient nur als Nachrichtenträger, der seinen Text an alle gesammelten Tone-RICs verteilt. Falls keine Tone-RICs vorhanden sind, wird die Text-RIC als `multicastMode: single` ausgegeben. +1. **Delimiter-Phase (Optional)**: Ein spezieller Delimiter-RIC markiert den Start eines neuen Multicast-Blocks. Er wird als technisches Paket (`multicastRole: delimiter`) **sofort** durchgereicht, leert aber intern den RAM-Puffer für neue Empfänger. Diese Phase ist optional - ohne Delimiter werden alle leeren Nachrichten als Tone-RICs behandelt. Downstream-Filter (z.B. filter.regexFilter) können ihn bei Bedarf ausfiltern. + +2. **Tone-RIC-Phase**: Eingehende leere Nachrichten werden **nicht direkt als Pakete ausgegeben**, sondern im RAM zwischengespeichert. Das Modul gibt hier `False` zurück, wodurch der Router die Verarbeitung für dieses spezifische Paket vorerst pausiert. + +3. **Text-RIC**: Ein spezieller Message-RIC empfängt die eigentliche Alarmnachricht. Sobald eine Text-RIC empfangen wird, "kopiert" das Modul diesen Text in jedes einzelne der gespeicherten Tone-RIC-Pakete. Diese werden dann als **Liste von Paketen** gesammelt an den Router als `multicastMode: complete` übergeben. Falls keine Tone-RICs im Puffer liegen (z.B. Einzelalarm), wird die Text-RIC als `multicastMode: single` ausgegeben. +**Wichtig:** Die Text-RIC (Message-RIC) wird **nicht als separates Paket ausgegeben**. Sie dient nur als Nachrichtenträger, der seinen Text an alle gesammelten Tone-RICs verteilt. Ausnahme: Einzelalarm (Single) + +4. **Timeout-Phase (Auto-Clear - Optional):** Läuft der `autoClearTimeout` ab, ohne dass ein Text-RIC eintrifft, werden die gepufferten RICs als `multicastMode: incomplete` (ohne Text) ausgegeben. ## Unterstützte Alarmtypen - POCSAG @@ -52,15 +37,15 @@ Hinweis: Der Delimiter-RIC (0123456) wird mit multicastRole: delimiter markiert |Feld|Beschreibung|Default| |----|------------|-------| -|autoClearTimeout|Auto-Clear Timeout in Sekunden - Nicht zugestellte Empfänger werden nach dieser Zeit als incomplete ausgegeben|10| -|delimiterRics|Komma-getrennte Liste von Startmarkern, die einen Multicast-Block beginnen (leert sofort vorherige Empfänger und werden mit multicastRole: delimiter markiert)|leer| +|autoClearTimeout|Zeit in Sekunden, nach der Tone-RICs ohne Text-Eingang als `incomplete` ausgegeben werden|10| +|delimiterRics|Komma-getrennte Liste von Startmarkern (leert Puffer, `multicastRole: delimiter`)|leer| |textRics|Komma-getrennte Liste von RICs, die den Alarmtext tragen|leer| -|netIdentRics|Komma-getrennte Liste von Netzwerk-Identifikations-RICs (werden mit multicastRole: netident markiert)|leer| +|netIdentRics|Komma-getrennte Liste von Netzwerk-Identifikations-RICs (`multicastRole: netident`)|leer| |triggerRic|RIC für das Wakeup-Trigger-Paket (optional, bei leer: dynamisch = erste Tone-RIC)|leer| |triggerHost|IP-Adresse für Loopback-Trigger|127.0.0.1| -|triggerPort|Port für Loopback-Trigger|8080| +|triggerPort|Port für Loopback-Trigger (entspricht meist Server-Port)|8080| -**Achtung:** Zahlen welche führende Nullen enthalten müssen in Anführungszeichen gesetzt werden, z.B. `'0012345'` +**Hinweis:** Zahlen mit führenden Nullen müssen in Anführungszeichen gesetzt werden, z.B. `'0012345'`. ### Konfigurationsbeispiel 1: Automatische Delimiter-Erkennung (oder nicht verfügbar im Netzwerk) (= Minimalkonfiguration) ```yaml @@ -112,9 +97,156 @@ Verwendet eine feste RIC (9999999) für das interne Wakeup-Trigger-Paket. ``` Markiert Netzident-Pakete (RIC 0000001) mit multicastRole: netident. Downstream-Filter können sie gezielt ausfiltern (z.B. RegEx-Filter). +--- +## Modul Abhängigkeiten +- keine + +--- +## Externe Abhängigkeiten +- keine + +--- +## Paket Modifikationen + +### Hinzugefügte Felder +- `multicastMode`(string): Beschreibt das Ergebnis der Multicast-Verarbeitung, besitzt einen der Werte: + - `complete`: Vollständiges Multicast-Packet + - `incomplete`: Unvollständiges Multicast-Packet (meist fehlt die Text-RIC) (Timeout) + - `single`: Einzelner, "normaler" Alarm (Tone-RIC = Text-RIC) + - `control`: Netzwerk-Ident-RIC oder andere Verwaltung-RICs (Technik) +- `multicastRole`: + - `delimiter` + - `netident` + - `recipient` (Empfänger) + - `single` +- `multicastRecipientIndex` (string): Index dieses Empfängers (1-N), folgende Logik: + - Bei **recipient**: Zählt hoch (z.B. 1 von 5, 2 von 5...) + - Bei **delimiter / netident / single**: Immer **1**, da sie als eigenständige technische Pakete zählen +- `multicastRecipientCount` (string): Gesamtanzahl der Empfänger des Multicasts +- `_list` (string): Liste von Werten aus allen Empfänger-RICs für jedes Originalfeld (z.B. `ric_list`, `subric_list`) + +### Ergänzte Felder (von Text-RIC an Tone-RIC): +- `message`: Der Text wird aus der Text-RIC übernommen und in die Empfänger-Pakete eingefügt (Bei incomplete-Modus leer) +- `multicastSourceRic` (string): RIC des ursprünglichen Message-RICs + +### Erhaltene Felder (Tone-RIC): +Diese Felder bleiben **unverändert** bestehen, damit die Zuordnung zum Endgerät korrekt bleibt: +- `ric` +- `subric` +- alle bereits zuvor hinzugefügten Felder (z.B. Descriptor-Modul) + +### Rückgabewerte: +- **False**: Paket wurde intern konsumiert (z.B. Tone-RIC wurde in den Buffer aufgenommen), Router stoppt Verarbeitung für dieses Paket (Verhindert die Ausgabe leerer Nachrichten). Allerdings: Das Paket wird im RAM geparkt. +- **Liste von Paketen**: Tritt ein, sobald eine Text-RIC die Verteilung auslöst oder ein Timeout abläuft. Der Router verarbeitet jedes Element der Liste (die nun angereicherten Tone-RICs) als eigenständigen Alarm. +- **None**: Der Router verarbeitet das Original-Paket normal weiter. + +--- + +## Zusätzliche Wildcards + +Folgende Wildcards stehen in allen nachfolgenden Plugins zur Verfügung: + +|Wildcard|Beschreibung|Beispiel| +|--------|------------|--------| +|{MCAST_SOURCE}|RIC des ursprünglichen Message-RICs|0299001| +|{MCAST_COUNT}|Gesamtanzahl der Empfänger dieses Multicasts.|3| +|{MCAST_INDEX}|Index des Empfängers (1-basiert für Recipients, 0 für Control-Pakete)|0, 1, 2, 3, ...| +|{MCAST_MODE}|Art der Multicast-Verarbeitung durch das Modul|complete, incomplete, single, control| +|{MCAST_ROLE}|Rolle des Pakets im Multicast-Ablauf|recipient, single, delimiter, netident| + +### Erweiterung der Listen-Wildcards +Das Modul generiert Wildcards für alle gesammelten Felder (RICs, SubRICs, etc.) in Listenform. Diese sind besonders nützlich, um eine kombinierte Ausgabe (z.B. in Telegram) zu erstellen. Im Folgenden ein paar Beispiele: + +|Wildcard|Beschreibung|Zugrundeliegendes Feld|Beispiel| +|--------|------------|--------|--------| +|{RIC_LIST}|Liste aller RICs der Empfänger (durch Komma getrennt).|ric_list|"0299001, 0299002"| +|{SUBRIC_LIST}|Liste aller SubRICs der Empfänger|subric_list|"4, 3"| +|{DESCRIPTION_LIST}|Liste aller (deskriptiven) Namen der Empfänger (BEISPIEL! **NUR** bei vorher durchlaufenen Descriptor-Modul)|description_list|"FF Musterstadt, BF Beispiel"| +|{_LIST}|Liste der Werte für jedes Originalfeld aus dem Paket|_list|{FREQUENCY_LIST}, {BITRATE_LIST}| + +**Wichtig:** Verwende die **originalen Feldnamen** (z.B. `frequency_list`), nicht die Wildcard-Namen (z.B. ~~`FREQ_list`~~). + +### Verwendungsbeispiel in Plugins, z.B. Telegram-Plugin: +```yaml +- type: plugin + res: telegram + config: + message_pocsag: | + {CNAME} + {MSG} + RIC: {RIC} / SubRIC: {SRIC} + Multicast: {MCAST_INDEX}/{MCAST_COUNT} (Quelle: {MCAST_SOURCE}) + {TIME} +``` + +--- +# Funktionsweise im Detail + +## Grundsätzliche Funktion + +**Beispiel:** +``` +10:31:16 - RIC: 0123456 SubRIC: 1 Message: (leer) → Delimiter-RIC +10:31:16 - RIC: 0234567 SubRIC: 4 Message: (leer) → Empfänger 1 +10:31:16 - RIC: 0345678 SubRIC: 3 Message: (leer) → Empfänger 2 +10:31:17 - RIC: 0456789 SubRIC: 1 Message: "B3 WOHNHAUS" → Message-RIC + +Generierte Alarme: +→ RIC: 0234567 SubRIC: 4 Message: "B3 WOHNHAUS" (behält SubRIC 4!) +→ RIC: 0345678 SubRIC: 3 Message: "B3 WOHNHAUS" (behält SubRIC 3!) +``` + +**Wichtig:** Jeder Empfänger behält seine ursprüngliche SubRIC, da diese oft unterschiedliche Alarmtypen oder Prioritäten repräsentiert. + +### Logik der hinzugefügten Felder + +Um die Logik der Felder multicastMode, multicastRole, etc. zu verstehen, hilft eine tabellarische Gegenüberstellung: + +**1) Szenario Der "Feldstärke-Alarm" (Netident/Delimiter)** + +|Paket-Typ|RIC|multicastMode|multicastRole|sourceRic|Index|Count| +|--------|-------|-------|---------|------|--|--| +|Delimiter|0288088|control|delimiter|0288088|1|1| +|Netzident|0000001|control|netident|0000001|1|1| + +Hinweis: Diese Pakete dienen der Systemsteuerung. Der Index ist immer 1, da sie "Einzelereignisse" im technischen Ablauf sind. +Beide RIC werden unmittelbar nach der Verarbeitung weitergereicht, d.h. es wird nicht auf die Netzident-RIC gewartet, um die Delmitier-RIC weiterzureichen. + +**2) Szenario Echter Multicast-Alarm (Vollständig)** +Hier sieht man den Ablauf: +- Der Delimiter leert den Speicher und wird mit den ergänzenden Feldern angereichert und sofort weitergegeben. +- Zwei Tone-RICs sammeln sich an +- Die Text-RIC löst die Verteilung aus + +**Beachte:** Die Text-RIC (0456789) dient als Nachrichtenträger und erscheint nicht als eigenes Paket im Output. + +|Phase|Paket-Typ|RIC|multicastMode|multicastRole|sourceRic|Index|Count| +|-----|---------|---|-------------|-------------|---------|-----|-----| +|Start|Delimiter|0288088|control|delimiter|0288088|1|1| +|Sammler|Tone-RIC 1|0234567|-|(interner Buffer)|-|-|-| +|Sammler|Tone-RIC 2|0345678|-|(interner Buffer)|-|-|-| +|Auslöser|Text-RIC|0456789|(wird verteilt - keine Ausgabe)|(Nachrichtenträger)|-|-|-| +|Output 1|Alarm-Paket|0234567|complete|recipient|0456789|1|2| +|Output 2|Alarm-Paket|0345678|complete|recipient|0456789|2|2| + +**3) Szenario Unvollständiger Alarm (Incomplete / Timeout)** +In diesem Fall fehlt die Text-RIC. Das System wartet bis zum Timeout und schickt dann die Empfänger mit leerer Nachricht raus (getriggert durch das Active Trigger System). + +|Phase|Paket-Typ|RIC|multicastMode|multicastRole|sourceRic|Index|Count| +|-----|---------|---|-------------|-------------|---------|-----|-----| +|Start|Delimiter|0288088|control|delimiter|0288088|1|1| +|Sammler|Tone-RIC 1|0234567|-|(interner Buffer)|-|-|-| +|Sammler|Tone-RIC 2|0345678|-|(interner Buffer)|-|-|-| +|Event|Timeout|Kein Text|Auto-Clear nach standardmäßig 10s|-|-|-|-| +|Output 1|Incomplete|0234567|incomplete|recipient|0234567|1|2| +|Output 2|Incomplete|0345678|incomplete|recipient|0234567|2|2| + +Der Delimiter wird mit den ergänzenden Feldern angereichert und sofort weitergegeben. + +--- ## Integration in Router-Konfiguration -Das Multicast-Modul sollte **vor** den Plugins platziert werden, damit die generierten Alarme korrekt verarbeitet werden: +Das Multicast-Modul muss **vor** den Plugins platziert werden, damit die generierten Alarme korrekt verarbeitet werden: ```yaml - name: Router POCSAG @@ -153,7 +285,7 @@ Dies ermöglicht es, entweder jede RIC einzeln zu verarbeiten oder die Listenfel Die folgenden Beispiele dienen zur Veranschaulichung der Möglichkeiten des Multicast-Modul in Verbindung mit RegEx-Filter. -### Beispiel (Zusätzliche Wildcards werden noch später in diesem Readme erklärt): +### Beispiel (siehe auch "Zusätzliche Wildcards"): ```yaml router: - name: Router POCSAG @@ -162,10 +294,6 @@ router: res: filter.modeFilter config: [...] - - type: module - res: filter.doubleFilter - config: - [...] - type: module res: descriptor config: @@ -177,6 +305,10 @@ router: autoClearTimeout: 10 delimiterRics: '0123456' # Start eines Multicast-Alarms textRics: '9909909' # Text-RIC + - type: module + res: filter.doubleFilter + config: + [...] - type: router res: RouterMySQL - type: router @@ -221,101 +353,15 @@ router: ``` --- -## Modul Abhängigkeiten -- keine ---- -## Externe Abhängigkeiten -- keine +## Das Active Trigger System (Verlustfreie Paketauslieferung) +BOSWatch arbeitet **synchron**. Das bedeutet: Der Router "schläft", wenn kein Funk-Paket von außen eingeht. Ein Timeout im Hintergrund-Thread des Moduls kann den schlafenden Router nicht von alleine aufwecken, um die im RAM wartenden Pakete (`incomplete`) herauszuschieben. ---- -## Paket Modifikationen +**Lösung:** +Das Modul verwendet ein aktives Trigger-System, um sicherzustellen, dass **keine Multicast-Pakete verloren gehen** -### Hinzugefügte Felder bei Multicast-Alarmen: -- `multicastMode`(string): Beschreibt das Ergebnis der Multicast-Verarbeitung, besitzt einen der Werte: - - - `complete`: Vollständiges Multicast-Packet - - `incomplete`: Unvollständiges Multicast-Packet (meist fehlt die Text-RIC) - - `single`: Einzelner, "normaler" Alarm (Tone-RIC = Text-RIC) - - `control`: Netzwerk-Ident-RIC oder andere Verwaltung-RICs - -- `multicastRole` (string): Beschreibt die Rolle dieses Pakets innerhalb des Multicast-Ablaufs, besitzt einen der Werte: - - - `delimiter`: Startmarker-Paket - - `recipient`: tatsächlicher Empfänger - - `single`: Einzelner, "normaler" Alarm (Tone-RIC = Text-RIC) - - `netident`: Netzwerk-Identifikations-Paket - -- `multicastSourceRic` (string): RIC des ursprünglichen Message-RICs -- `multicastRecipientCount` (string): Anzahl der Empfänger insgesamt -- `multicastRecipientIndex` (string): Index dieses Empfängers (1-N), folgende Logik: - - - Empfänger haben den Index 1 bis n. - - Delimiter/Singles haben Index 1 (da sie alleinstehen). - -- `_list` (string): Liste von Werten aus allen Empfänger-RICs für jedes Originalfeld (z.B. ric_list, message_list) - -### Veränderte Felder bei Multicast-Alarmen: -- `ric`: Wird durch Empfänger-RIC ersetzt -- `subric`: Wird durch Empfänger-SubRIC ersetzt -- `subricText`: Wird durch Empfänger-SubRIC-Text ersetzt -- `message`: Bei incomplete-Modus leer, sonst Text von Text-RIC - -### Rückgabewerte: -- **False**: Paket wurde intern konsumiert (z.B. Tone-RIC wurde in den Buffer aufgenommen), Router stoppt Verarbeitung für dieses Paket -- **Liste von Paketen**: Multicast-Verteilung, Router verarbeitet jedes Paket einzeln -- **None**: Normaler Alarm, Router fährt mit unveränderten Paket fort - ---- -## Zusätzliche Wildcards - -Folgende Wildcards stehen in allen nachfolgenden Plugins zur Verfügung: - -|Wildcard|Beschreibung|Beispiel| -|--------|------------|--------| -|{MCAST_SOURCE}|RIC des ursprünglichen Message-RICs|0299001| -|{MCAST_COUNT}|Gesamtanzahl der Empfänger dieses Multicasts.|3| -|{MCAST_INDEX}|Index des Empfängers (1-basiert für Recipients, 0 für Control-Pakete)|0, 1, 2, 3, ...| -|{MCAST_MODE}|Art der Multicast-Verarbeitung durch das Modul|complete, incomplete, single, control| -|{MCAST_ROLE}|Rolle des Pakets im Multicast-Ablauf|recipient, single, delimiter, netident| - -## Erweiterung der Listen-Wildcards -Das Modul generiert Wildcards für alle gesammelten Felder (RICs, SubRICs, etc.) in Listenform. Diese sind besonders nützlich, um eine kombinierte Ausgabe (z.B. in Telegram) zu erstellen: - -|Wildcard|Beschreibung|Zugrundeliegendes Feld|Beispiel| -|--------|------------|--------|--------| -|{RIC_LIST}|Liste aller RICs der Empfänger (durch Komma getrennt).|ric_list|"0299001, 0299002"| -|{SUBRIC_LIST}|Liste aller SubRICs der Empfänger|subric_list|"4, 3"| -|{DESCRIPTION_LIST}|Liste aller (deskriptiven) Namen der Empfänger.|description_list|"FF Musterstadt, BF Beispiel"| -|{_LIST}|Liste der Werte für jedes Originalfeld aus dem Paket|_list|{FREQUENCY_LIST}, {BITRATE_LIST}| - -**Wichtig:** Verwende die **originalen Feldnamen** (z.B. `frequency_list`), nicht die Wildcard-Namen (z.B. ~~`FREQ_list`~~). - -### Verwendungsbeispiel in Plugins, z.B. Telegram-Plugin: -```yaml -- type: plugin - res: telegram - config: - message_pocsag: | - {CNAME} - {MSG} - RIC: {RIC} / SubRIC: {SRIC} - Multicast: {MCAST_INDEX}/{MCAST_COUNT} (Quelle: {MCAST_SOURCE}) - {TIME} -``` - ---- -## Funktionsweise im Detail - -### Active Trigger System (Verlustfreie Paketauslieferung) - -Das Modul verwendet ein aktives Trigger-System, um sicherzustellen, dass **keine Multicast-Pakete verloren gehen**: - -1. **Deferred Delivery**: Bei einem Auto-Clear-Timeout werden die incomplete-Pakete nicht sofort ausgegeben, sondern in einer internen Queue gespeichert. - -2. **Wakeup-Trigger**: Das Modul sendet ein spezielles Trigger-Paket via Loopback-Socket (Standard: 127.0.0.1:8080) zurück an den BOSWatch-Server. - -3. **Queue-Flush**: Beim Empfang des Trigger-Pakets werden alle gespeicherten Pakete aus der Queue ausgegeben. +**Ausführung** +Das Modul sendet über via TCP (Loopback) ein minimales Trigger-Paket an den eigenen BOSWatch-Server. Dieser empfängt es wie einen normalen Funk-Alarm, weckt den Router auf und das Modul kann die wartenden Alarme (`incomplete`) sicher ausliefern. **Trigger-RIC Auswahl** (3-stufige Fallback-Kette): - **Explizit**: Wenn `triggerRic` konfiguriert ist, wird diese RIC verwendet @@ -341,8 +387,8 @@ Das Modul verwendet ein aktives Trigger-System, um sicherzustellen, dass **keine ### Zeitbasierte Verarbeitung 1. **Tone-RIC-Sammlung**: Tone-RICs (meist leere Nachrichten) werden empfangen und gespeichert -2. **Auto-Clear**: Nach `autoClearTimeout` Sekunden ohne Text-RIC werden die Tone-RICs als incomplete ausgegeben (via Trigger-System) -3. **Text-RIC-Verteilung**: Sobald ein Text-RIC empfangen wird, erfolgt die sofortige Verteilung an alle gesammelten Tone-RICs +2. **Text-RIC-Verteilung**: Sobald ein Text-RIC empfangen wird, erfolgt die sofortige Verteilung an alle gesammelten Tone-RICs +3. **Auto-Clear**: Nach `autoClearTimeout` Sekunden ohne Text-RIC werden die Tone-RICs als incomplete ausgegeben (via Trigger-System) 4. **Hard-Timeout-Cleanup**: Nach 3x `autoClearTimeout` (oder max. 120s) werden veraltete Pakete aus dem Speicher gelöscht (Failsafe) ### Frequenz-Trennung @@ -353,44 +399,18 @@ Das Modul trennt Multicast-Listen nach Frequenzen. Dies verhindert Vermischung v ``` Frequenz 173.050 MHz: Tone-RICs [0234567, 0345678] Frequenz 173.075 MHz: Tone-RICs [0456789, 0567890] -→ Werden getrennt verarbeitet, keine Vermischung möglich +→ Werden getrennt verarbeitet, keine Vermischung möglich (wichtig für Multi-Client mit Single-Server) ``` -### SubRIC-Erhaltung - -**Wichtig:** Jeder Empfänger behält seine ursprüngliche SubRIC aus der Tone-RIC-Phase. Dies ist entscheidend, da SubRICs unterschiedliche Bedeutungen haben können, z.B.: - -- SubRIC 1 (a): Alarmierung -- SubRIC 2 (b): Information -- SubRIC 3 (c): Probealarm -- SubRIC 4 (d): Sirenenalarm - -**Beispiel:** -``` -Eingehende Tone-RICs: -- RIC: 0234567 SubRIC: 4 (Sirenenalarm) -- RIC: 0345678 SubRIC: 3 (Probealarm) - -Text-RIC: RIC: 0456789 SubRIC: 1 Message: "B3 WOHNHAUS" - -Ausgegebene Multicast-Pakete: -→ RIC: 0234567 SubRIC: 4 Message: "B3 WOHNHAUS" (behält SubRIC 4!) -→ RIC: 0345678 SubRIC: 3 Message: "B3 WOHNHAUS" (behält SubRIC 3!) -``` - -### Paketmarkierung statt interner Filterung +## Paketmarkierung statt interner Filterung Das Modul filtert keine inhaltlich relevanten Pakete. -Alle Pakete mit Alarminhalt werden mit `multicastRole` markiert und -weitergereicht. Die Filterung nach Bedarf erfolgt nachgelagert, -z.B. mit `filter.regexFilter`. +Alle Pakete werden mit `multicastRole` markiert und weitergereicht. Die Filterung nach Bedarf erfolgt nachgelagert, z.B. mit `filter.regexFilter`. -Eine Ausnahme bilden **Tone-RICs** (leere Nachrichten): Diese werden -intern im Buffer gesammelt und bei einem complete-Alarm in die -Listenfelder aggregiert. Sie erscheinen nie als eigenständige Pakete -im Router. +Eine Ausnahme bilden **Tone-RICs** (leere Nachrichten): Diese werden zuerst intern im Buffer gesammelt und bei einem complete-Alarm (und incomplete) in die Listenfelder aggregiert. Die Listenfelder werden an alle **Tone-RICs** angehängt und anschließend jede **Tone-RIC** angereichert ausgegeben. Pakete und ihre Rollen: + - **Delimiter-Pakete**: Erhalten `multicastRole: delimiter` - **Netzident-Pakete**: Erhalten `multicastRole: netident` - **Empfänger-Pakete**: Erhalten `multicastRole: recipient` @@ -404,14 +424,26 @@ Beispiel-Filter um Delimiter und Netident auszublenden: - name: "Nur echte Alarme" checks: - field: multicastRole - regex: ^(recipient|single)$ + regex: ^(recipient|single)$multicastIndex ``` + +--- + +## Zusammenfassung: Was passiert mit den Daten? + +- Der Delimiter: Wird sofort markiert und als technisches Paket weitergereicht. Er sorgt dafür, dass keine "Leichen" von alten, abgebrochenen Alarmen im Speicher liegen. +- Die Tone-RICs: Diese werden vom Modul "geschluckt" (return False). Sie verschwinden kurzzeitig aus dem Datenfluss und warten im RAM. +- Die Text-RIC: Wenn sie eintrifft, nimmt das Modul ihren Text (B3 WOHNHAUS) und kopiert ihn in die Tone-RIC-Pakete im RAM. Anschließend erfolgt die Ausgabe der Tone-RICs. +- Die Metadaten: Erst beim Erzeugen der Output-Pakete werden Felder wie multicastRecipientIndex berechnet, damit nachfolgende Plugins wissen, dass diese Pakete zusammengehören. + +Technischer Hinweis: +Da die Text-RIC im complete-Fall "verbraucht" wird, um die Tone-RICs zu füllen, wird sie nicht als separates zusätzliches Paket ausgegeben. Das verhindert Dopplungen in der Datenbank. Nur wenn gar keine Tone-RICs da sind, wird die Text-RIC als `single` ausgegeben. +In diesem Fall (Single) ist es völlig egal, ob die Text-RIC mit Delimiter oder ohne empfangen wird - die Delimiter-RIC wird als Delimiter gekennzeichnet, das Text-RIC als Single (in `multicastMode` sowie in `multicastRole`, `multicastRecipientIndex: 1`, `multicastRecipientCount: 1`). + ### Multi-Instanz-Betrieb +Das Modul unterstützt unbegrenzte parallele Instanzen durch vollständige Isolation: -Das Modul unterstützt mehrere parallele Instanzen mit geteiltem Zustand: - -- **Shared State**: Alle Instanzen teilen sich den Tone-RIC-Speicher (frequenz-basiert) -- **Instance-Specific Timeouts**: Jede Instanz kann eigene `autoClearTimeout`-Werte haben -- **Global Cleanup Thread**: Ein globaler Thread prüft alle Instanzen auf Timeouts -- **Thread-Safe**: Alle Operationen sind thread-sicher mit Locks geschützt \ No newline at end of file +- **Encapsulated State:** Jede Instanz verwaltet ihren eigenen Tone-RIC-Speicher. Es gibt keine Vermischung zwischen verschiedenen Routen. +- **Isolated Cleanup:** Jede Instanz startet einen eigenen, internen Cleanup-Thread für präzises Timeout-Management. +- **Instance IDs:** Zur besseren Nachverfolgung im Log erhält jede Instanz eine eindeutige ID (z.B. MCAST_a1b2). diff --git a/module/multicast.py b/module/multicast.py index 4cecd54..e641bdf 100644 --- a/module/multicast.py +++ b/module/multicast.py @@ -10,7 +10,7 @@ r"""! by Bastian Schroll @file: multicast.py -@date: 28.03.2026 +@date: 13.04.2026 @author: Claus Schichl @description: multicast module """ @@ -36,21 +36,6 @@ class BoswatchModule(ModuleBase): ensuring reliable alarm delivery even in complex multi-frequency scenarios. """ - # CLASS VARIABLES - SHARED STATE - _tone_ric_packets = defaultdict(list) - _last_tone_ric_time = defaultdict(float) - _processing_text_ric = defaultdict(bool) - _processing_text_ric_started = defaultdict(float) - - # SYSTEM VARIABLES - _lock = threading.Lock() - _cleanup_thread = None - _running = False - _wildcards_registered = set() - _packet_queue = [] - _queue_lock = threading.Lock() - _instances = [] - # Trigger defaults _TRIGGER_HOST = "127.0.0.1" _TRIGGER_PORT = 8080 @@ -95,20 +80,26 @@ class BoswatchModule(ModuleBase): self._trigger_host = self.config.get("triggerHost", default=self._TRIGGER_HOST) self._trigger_port = int(self.config.get("triggerPort", default=self._TRIGGER_PORT)) + # --- Per-instance state (replaces all former class-variables) --- + # Key: frequency string (e.g. "85.125M") + self._tone_ric_packets = defaultdict(list) # buffered tone-RICs per frequency + self._last_tone_ric_time = defaultdict(float) # last arrival time per frequency + self._processing_text_ric = defaultdict(bool) # text-RIC currently being processed? + self._processing_text_ric_started = defaultdict(float) # when did processing start? + self._wildcards_registered = set() # avoid double-registering wildcards + self._packet_queue = [] # deferred packets waiting for trigger + + # --- Locks (only needed within this instance, no cross-instance sharing) --- + self._lock = threading.Lock() + self._queue_lock = threading.Lock() + + # --- Per-instance cleanup thread --- + self._running = True + self._cleanup_thread = threading.Thread(target=self._cleanup_worker, daemon=True) + self._cleanup_thread.start() + logging.info("[%s] Multicast module loaded", self.name) - with BoswatchModule._lock: - if self not in BoswatchModule._instances: - BoswatchModule._instances.append(self) - - if not BoswatchModule._running: - BoswatchModule._running = True - BoswatchModule._cleanup_thread = threading.Thread( - target=BoswatchModule._global_cleanup_worker, daemon=True - ) - BoswatchModule._cleanup_thread.start() - logging.info("Global multicast cleanup thread started") - # ============================================================ # MAIN PROCESSING # ============================================================ @@ -158,13 +149,13 @@ class BoswatchModule(ModuleBase): if self._text_rics: is_text_ric = ric in self._text_rics and msg and msg.strip() else: - with BoswatchModule._lock: - is_text_ric = msg and msg.strip() and len(BoswatchModule._tone_ric_packets[freq]) > 0 + with self._lock: + is_text_ric = msg and msg.strip() and len(self._tone_ric_packets[freq]) > 0 if is_text_ric: - with BoswatchModule._lock: - BoswatchModule._processing_text_ric[freq] = True - BoswatchModule._processing_text_ric_started[freq] = time.time() + with self._lock: + self._processing_text_ric[freq] = True + self._processing_text_ric_started[freq] = time.time() queued_packets = self._get_queued_packets() incomplete_packets = None if is_text_ric else self._check_instance_auto_clear(freq) @@ -189,9 +180,9 @@ class BoswatchModule(ModuleBase): if is_text_ric and msg: logging.info("[%s] Text-RIC received: RIC=%s", self.name, ric) alarm_packets = self._distribute_complete(freq, packet_dict) - with BoswatchModule._lock: - BoswatchModule._processing_text_ric[freq] = False - BoswatchModule._processing_text_ric_started.pop(freq, None) + with self._lock: + self._processing_text_ric[freq] = False + self._processing_text_ric_started.pop(freq, None) if not alarm_packets: logging.warning("[%s] No tone-RICs for text-RIC=%s", self.name, ric) @@ -265,22 +256,22 @@ class BoswatchModule(ModuleBase): @param freq: Frequency identifier @param packet_dict: Dictionary containing packet data @return None""" - with BoswatchModule._lock: + with self._lock: stored_packet = packet_dict.copy() stored_packet['_multicast_timestamp'] = time.time() - BoswatchModule._tone_ric_packets[freq].append(stored_packet) - BoswatchModule._last_tone_ric_time[freq] = stored_packet['_multicast_timestamp'] - logging.debug("[%s] Tone-RIC added: RIC=%s (total: %d on %s)", self.name, stored_packet.get('ric'), len(BoswatchModule._tone_ric_packets[freq]), freq) + self._tone_ric_packets[freq].append(stored_packet) + self._last_tone_ric_time[freq] = stored_packet['_multicast_timestamp'] + logging.debug("[%s] Tone-RIC added: RIC=%s (total: %d on %s)", self.name, stored_packet.get('ric'), len(self._tone_ric_packets[freq]), freq) def _get_queued_packets(self): r"""!Pop and return all packets currently in the static queue. @param None @return list: List of packets or None""" - with BoswatchModule._queue_lock: - if BoswatchModule._packet_queue: - packets = BoswatchModule._packet_queue[:] - BoswatchModule._packet_queue.clear() + with self._queue_lock: + if self._packet_queue: + packets = self._packet_queue[:] + self._packet_queue.clear() return packets return None @@ -314,11 +305,11 @@ class BoswatchModule(ModuleBase): @param freq: Frequency identifier @param text_packet_dict: Data of the message-carrying packet @return list: List of fully populated Packet instances""" - with BoswatchModule._lock: - recipient_dicts = BoswatchModule._tone_ric_packets[freq].copy() - logging.debug("Text-RIC gefunden. Matche gegen %d gespeicherte RICs", len(recipient_dicts)) - BoswatchModule._tone_ric_packets[freq].clear() - BoswatchModule._last_tone_ric_time.pop(freq, None) + with self._lock: + recipient_dicts = self._tone_ric_packets[freq].copy() + logging.debug("Text RIC found. Matching against %d stored RICs", len(recipient_dicts)) + self._tone_ric_packets[freq].clear() + self._last_tone_ric_time.pop(freq, None) if not recipient_dicts: return [] @@ -365,7 +356,7 @@ class BoswatchModule(ModuleBase): self._copy_packet_dict_to_packet(packet_dict, bwPacket, index=1) self._apply_list_tags(bwPacket, [packet_dict]) self._set_mcast_metadata(bwPacket, "single", "single", packet_dict.get("ric", ""), "1", "1") - logging.debug("Erstelle Single-Alarm für RIC %s", packet_dict.get('ric')) + logging.debug("Creating single-alarm for RIC %s", packet_dict.get('ric')) return [bwPacket] def _handle_delimiter(self, freq, ric, bwPacket=None): @@ -375,11 +366,11 @@ class BoswatchModule(ModuleBase): @param ric: Delimiter RIC @param bwPacket: Optional delimiter packet instance @return list: Incomplete packets or delimiter control packet""" - with BoswatchModule._lock: - orphaned = BoswatchModule._tone_ric_packets[freq].copy() - BoswatchModule._tone_ric_packets[freq].clear() - BoswatchModule._last_tone_ric_time.pop(freq, None) - BoswatchModule._processing_text_ric[freq] = False + with self._lock: + orphaned = self._tone_ric_packets[freq].copy() + self._tone_ric_packets[freq].clear() + self._last_tone_ric_time.pop(freq, None) + self._processing_text_ric[freq] = False if orphaned: age_seconds = time.time() - orphaned[0].get('_multicast_timestamp', time.time()) @@ -405,7 +396,7 @@ class BoswatchModule(ModuleBase): @param count: Total number of recipients @param index: Current recipient index @return None""" - logging.debug("Setze Metadata - Mode: %s, Role: %s für RIC: %s", mode, role, source) + logging.debug("setting Metadata - Mode: %s, Role: %s, Index: %s of %s for RIC: %s", mode, role, index, count, source) mapping = { "multicastMode": (mode, "{MCAST_MODE}"), "multicastRole": (role, "{MCAST_ROLE}"), @@ -439,42 +430,25 @@ class BoswatchModule(ModuleBase): @param wildcard: The wildcard string (e.g. {MCAST_MODE}) @param field: The packet field name @return None""" - if wildcard not in BoswatchModule._wildcards_registered: + if wildcard not in self._wildcards_registered: self.registerWildcard(wildcard, field) - BoswatchModule._wildcards_registered.add(wildcard) + self._wildcards_registered.add(wildcard) # ============================================================ # CLEANUP & TIMEOUT MANAGEMENT # ============================================================ - @staticmethod - def _global_cleanup_worker(): - r"""!Static background thread that ticks all active module instances. - - @param None - @return None""" - logging.info("Global multicast cleanup ticker active") - while BoswatchModule._running: + def _cleanup_worker(self): + r"""!Per-instance background thread for timeout management.""" + logging.info("[%s] Cleanup thread started", self.name) + while self._running: time.sleep(1) - with BoswatchModule._lock: - active_instances = BoswatchModule._instances[:] - for instance in active_instances: - try: - instance._perform_instance_tick() - except Exception as e: - logging.error("Error in instance cleanup: %s", e) + try: + self._check_all_my_frequencies() + except Exception as e: + logging.error("[%s] Error in cleanup thread: %s", self.name, e) if int(time.time()) % 60 == 0: - BoswatchModule._cleanup_hard_timeout_global() - - def _perform_instance_tick(self): - r"""!Tick-entry point for this specific instance. - - Acts as an extension hook for future per-instance tick logic - (e.g. statistics, heartbeat, watchdog). Do not call directly. - - @param None - @return None""" - self._check_all_my_frequencies() + self._cleanup_hard_timeout() def _check_all_my_frequencies(self): r"""!Monitor timeouts for all frequencies assigned to this instance. @@ -484,27 +458,27 @@ class BoswatchModule(ModuleBase): incomplete_packets = [] trigger_data = [] - with BoswatchModule._lock: + with self._lock: current_time = time.time() for freq in list(self._my_frequencies): - if freq not in BoswatchModule._tone_ric_packets or not BoswatchModule._tone_ric_packets[freq]: + if freq not in self._tone_ric_packets or not self._tone_ric_packets[freq]: continue - if BoswatchModule._processing_text_ric.get(freq, False): - flag_age = current_time - BoswatchModule._processing_text_ric_started.get(freq, current_time) + if self._processing_text_ric.get(freq, False): + flag_age = current_time - self._processing_text_ric_started.get(freq, current_time) if flag_age > 2: - BoswatchModule._processing_text_ric[freq] = False - BoswatchModule._processing_text_ric_started.pop(freq, None) + self._processing_text_ric[freq] = False + self._processing_text_ric_started.pop(freq, None) else: continue - last_time = BoswatchModule._last_tone_ric_time.get(freq, 0) + last_time = self._last_tone_ric_time.get(freq, 0) if current_time - last_time > self._auto_clear_timeout: - recipient_dicts = BoswatchModule._tone_ric_packets[freq].copy() + recipient_dicts = self._tone_ric_packets[freq].copy() safe_ric = recipient_dicts[0].get('ric', self._DEFAULT_TRIGGER_RIC) trigger_data.append((freq, safe_ric)) - BoswatchModule._tone_ric_packets[freq].clear() - BoswatchModule._last_tone_ric_time.pop(freq, None) + self._tone_ric_packets[freq].clear() + self._last_tone_ric_time.pop(freq, None) logging.info("[%s] Auto-clear: %d tone-RICs on %s (Timeout %ds)", self.name, len(recipient_dicts), freq, self._auto_clear_timeout) packets = self._create_incomplete_multicast(freq, recipient_dicts) @@ -512,8 +486,8 @@ class BoswatchModule(ModuleBase): incomplete_packets.extend(packets) if incomplete_packets: - with BoswatchModule._queue_lock: - BoswatchModule._packet_queue.extend(incomplete_packets) + with self._queue_lock: + self._packet_queue.extend(incomplete_packets) for freq, safe_ric in trigger_data: self._send_wakeup_trigger(freq, safe_ric) @@ -522,36 +496,30 @@ class BoswatchModule(ModuleBase): @param freq: Frequency identifier @return list: Incomplete packets if timeout exceeded, else None""" - with BoswatchModule._lock: - if freq not in BoswatchModule._tone_ric_packets or not BoswatchModule._tone_ric_packets[freq]: + with self._lock: + if freq not in self._tone_ric_packets or not self._tone_ric_packets[freq]: return None - last_time = BoswatchModule._last_tone_ric_time.get(freq, 0) + last_time = self._last_tone_ric_time.get(freq, 0) if time.time() - last_time > self._auto_clear_timeout: - recipient_dicts = BoswatchModule._tone_ric_packets[freq].copy() - BoswatchModule._tone_ric_packets[freq].clear() - BoswatchModule._last_tone_ric_time.pop(freq, None) + recipient_dicts = self._tone_ric_packets[freq].copy() + self._tone_ric_packets[freq].clear() + self._last_tone_ric_time.pop(freq, None) logging.warning("[%s] Auto-clear (doWork): %d packets", self.name, len(recipient_dicts)) return self._create_incomplete_multicast(freq, recipient_dicts) return None - @staticmethod - def _cleanup_hard_timeout_global(): - r"""!Global failsafe for really old packets (ignores instance config). - - @param None - @return None""" - with BoswatchModule._lock: + def _cleanup_hard_timeout(self): + r"""!Failsafe for really old packets.""" + with self._lock: current_time = time.time() - max_hard_timeout = 120 - if BoswatchModule._instances: - max_hard_timeout = max(inst._hard_timeout for inst in BoswatchModule._instances) - for freq in list(BoswatchModule._tone_ric_packets.keys()): - BoswatchModule._tone_ric_packets[freq] = [ - p for p in BoswatchModule._tone_ric_packets[freq] - if current_time - p.get('_multicast_timestamp', 0) < max_hard_timeout + for freq in list(self._tone_ric_packets.keys()): + self._tone_ric_packets[freq] = [ + p for p in self._tone_ric_packets[freq] + if current_time - p.get('_multicast_timestamp', 0) < self._hard_timeout ] - if not BoswatchModule._tone_ric_packets[freq]: - del BoswatchModule._tone_ric_packets[freq] + # cleaning empty frequencies + if not self._tone_ric_packets[freq]: + del self._tone_ric_packets[freq] # ============================================================ # TRIGGER SYSTEM @@ -568,7 +536,7 @@ class BoswatchModule(ModuleBase): "ric": trigger_ric, "subric": "1", "subricText": "a", - "message": BoswatchModule._MAGIC_WAKEUP_MSG, + "message": self._MAGIC_WAKEUP_MSG, "clientName": "MulticastTrigger", "inputSource": "loopback", "frequency": freq @@ -601,7 +569,5 @@ class BoswatchModule(ModuleBase): @param None @return None""" - with BoswatchModule._lock: - if self in BoswatchModule._instances: - BoswatchModule._instances.remove(self) + self._running = False logging.debug("[%s] Multicast instance unloaded", self.name)