Datenerfassung mit 75 GB/s direkt auf Datenträger

Eine kosteneffiziente Lösung mit ADQ35 und der libads-Bibliothek.

  www.spdevices.com

Teledyne SP Devices’ Digitizer der ADQ3-Serie bieten einen hohen Datendurchsatz und ein SDK, das eine einfache Anwendungsentwicklung ermöglicht. In diesem Artikel stellen wir ein Disk-Streaming-System vor, das über sechs Kanäle hinweg mehr als 50 Sekunden lang eine kontinuierliche Schreibleistung von 75 GB/s erreicht und dabei 4 TB Daten aufzeichnet. Das System basiert auf der DPS7-PCIe-Plattform mit sechs ADQ35-Digitizern, die jeweils mit 10 GSPS arbeiten (12,5 GB/s pro Kanal). Solche Systeme kommen beispielsweise bei der Satellitenüberwachung und in LiDAR-Anwendungen zum Einsatz.

Kostengünstige Consumer-NVMe-Laufwerke werden im Single-Level-Cell-Modus (SLC) konfiguriert, um eine Schreibleistung von mehr als 12,5 GB/s pro Laufwerk zu erreichen. In Kombination mit der Disk-Streaming-Bibliothek libads von Teledyne SP Devices, die das Dateisystem umgeht und die CPU entlastet, entsteht eine kosteneffiziente Lösung mit minimalem System-Overhead. Günstigere Systemkonfigurationen können bereits für 5 bis 10 % der Kosten vergleichbarer Enterprise-Lösungen realisiert werden. Sie sind daher eine attraktive Alternative, sofern die Anwendung nicht die hohe Lebensdauer und Belastbarkeit von Enterprise-Lösungen erfordert.

Systemübersicht
Das System basiert auf der Serverplattform DPS7-PCIe von Teledyne SP Devices und ist in einem kompakten 4U-Gehäuse zur Rack- oder Desktopmontage untergebracht (siehe Abbildung 1). Es erfasst und speichert Daten von sechs Kanälen mit 10 GSPS oder von zwölf Kanälen mit 5 GSPS. Bei einer kontinuierlichen Aufzeichnung von mehr als 50 Sekunden ergibt sich ein Gesamtdatenvolumen von 4 TB. Das System ist vollständig eigenständig und verfügt über eine integrierte Takterzeugung und -verteilung sowie eine Synchronisierung der Trigger über alle Kanäle hinweg.

•  DPS7-PCIe, konfigurierbare Computerplattform in Serverqualität.
•  6 × ADQ35-Digitizer, jeweils für eine Datenerfassung mit 12,5 GB/s konfiguriert.
•  6 × Kingston Fury Renegade G5 2 TB NVMe-SSDs (konfiguriert auf eine effektive Kapazität von jeweils 670 GB).
• libads, Disk-Streaming-Bibliothek von Teledyne SP Devices.
•  Ubuntu 24.04 LTS als Betriebssystem.
• Clock-Fanout-Board von Teledyne SP Devices zur Erzeugung und Verteilung des Referenztakts.

Ein vom Clock-Fanout-Board erzeugter 10-MHz-Referenztakt wurde an alle Digitizer verteilt. Die Triggeranschlüsse der Digitizer wurden in einer Daisy-Chain-Konfiguration miteinander verbunden, wobei ein Digitizer als Master konfiguriert wurde. Dadurch lässt sich der Start der Datenerfassung über alle Digitizer hinweg synchronisieren.



Abbildung 1: Teledyne SP Devices DPS7-PCIe im 4U-Gehäuse zur Rack- oder Desktopmontage. Beispielabbildung mit zwei installierten Digitizern.

Über libads
libads ist eine leistungsstarke Disk-Streaming-Bibliothek, die speziell für Digitizer der ADQ3-Serie entwickelt wurde. Sie ist eng in die Digitizer-API integriert und ermöglicht dadurch eine einfache Anwendungsentwicklung. Die mitgelieferten, umfangreich parametrierbaren Beispielanwendungen decken die meisten Anwendungsfälle ab und können als Ausgangspunkt für anspruchsvollere Anwendungen dienen. Ein eigenes Dateisystem reduziert den CPU-Overhead und erleichtert die Identifizierung gespeicherter Datensätze.

Die hier vorgestellte Lösung verwendet ein Laufwerk pro Digitizer. Die Bibliothek unterstützt jedoch auch den Betrieb mehrerer Digitizer pro Laufwerk sowie mehrerer Laufwerke pro Digitizer (RAID). Die optionale Unterstützung von NVIDIA GPUDirect Storage ermöglicht zudem die Echtzeitverarbeitung der Daten auf einer GPU vor deren Speicherung.

Die Bibliothek ist auf hohen Datendurchsatz und eine geringe Systemlast optimiert. Die Daten werden asynchron auf NVMe-SSDs geschrieben, wobei das Dateisystem und die Caching-Mechanismen des Betriebssystems umgangen werden. Dadurch wird die CPU entlastet, sodass sich die kritischen Komponenten auf PCIe, Datenträger und DRAM (oder GPU) beschränken. Abbildung 2 veranschaulicht den Datenpfad: Die erfassten Daten werden vom Digitizer in DRAM-Puffer geschrieben und von dort zur Speicherung durch die Laufwerke abgerufen. Die CPU ist lediglich an der Steuerung und Überwachung beteiligt.



Abbildung 2: Flussdiagramm mit dem grün dargestellten Datenpfad für die Übertragung hoher Bandbreiten und dem rot dargestellten Steuerungs- und Überwachungspfad mit geringer Bandbreite.

Auswahl der Systemkomponenten
Die für die Auswahl der Systemkomponenten maßgeblichen Anwendungsanforderungen sind nachfolgend aufgeführt.

• Datendurchsatz: sechs Kanäle mit 10 GSPS oder zwölf Kanäle mit 5 GSPS bei einer 10-Bit-Komprimierung -> 6 × 12,5 GB/s oder 12 × 6,25 GB/s = 75 GB/s. Die 10-Bit-Komprimierung reduziert das Datenvolumen bei minimalen Auswirkungen auf die Signalqualität.
•  Speicherkapazität: kontinuierliche Aufzeichnung über mindestens 50 Sekunden -> 75 GB/s × 50 s = 3,75 TB.
• Verarbeitungskapazität: Eine Echtzeitverarbeitung ist nicht erforderlich.

Die spezifischen Überlegungen zur Auswahl der Komponenten für diese Anwendung werden im Folgenden erläutert.

•  Digitizer: Aufgrund seiner hohen Abtastrate und seines hohen Datendurchsatzes fiel die Wahl auf den ADQ35. Jeder Digitizer kann einen Kanal mit 10 GSPS oder zwei Kanäle mit 5 GSPS erfassen und Daten mit einer Übertragungsrate von mehr als 14 GB/s übertragen.
•  Speicher: Die Speicherkonfiguration wird hauptsächlich durch die erforderliche Kapazität und den benötigten Datendurchsatz bestimmt. Bei Systemen mit hoher Nutzungsintensität kann die Lebensdauer der Laufwerke eine wichtige Rolle spielen. Sie wird unter anderem durch die insgesamt auf das Laufwerk geschriebenen Datenmengen bis zum Erreichen seiner Verschleißgrenze bestimmt. Für diese Anwendung wurde ein kostengünstiges Laufwerk mit 2 TB ausgewählt. Durch die Reduzierung der effektiven Speicherkapazität auf 670 GB pro Laufwerk konnte eine Schreibleistung von mehr als 12,5 GB/s pro Laufwerk erreicht werden.

Das System basiert auf der Serverplattform DPS7-PCIe, die sich durch die Auswahl geeigneter Komponenten an die Anforderungen der meisten Anwendungen anpassen lässt. Die detaillierte Systemspezifikation ist in der nachfolgenden Tabelle dargestellt. Die Digitizer und NVMe-Laufwerke sind in Abbildung 3 zu sehen. Abbildung 4 zeigt das Clock-Fanout-Board, das hier für die Montage in einem PCIe-Steckplatz konfiguriert ist.






Abbildung 3: Im DPS7-PCIe-System installierte Digitizer und NVMe-Laufwerke.



Abbildung 4: Clock-Fanout-Board von Teledyne SP Devices, konfiguriert für die Montage in einem PCIe-Steckplatz.

Ergebnisse
Die kontinuierliche Datenerfassung wurde erfolgreich mit einem anhaltenden Datendurchsatz von 75 GB/s über sechs Kanäle (12,5 GB/s pro Kanal) durchgeführt. Die Aufzeichnung dauerte 53 Sekunden und umfasste ein Datenvolumen von 4 TB. Insgesamt wurden 4.020 GB mit einer durchschnittlichen Übertragungsrate von 74,989 GB/s geschrieben. Die geringfügige Abweichung vom Zielwert von 75 GB/s ist darauf zurückzuführen, dass die Zeitmessung auch das Starten und Beenden der Datenerfassung umfasst.

Nach Abschluss der Aufzeichnung wurden Entwicklungsfunktionen eingesetzt, um die Integrität der erfassten Daten und Metadaten zu überprüfen. Die Datenerfassung wurde mehrfach wiederholt. Da jeweils die gesamte Speicherkapazität genutzt wurde, mussten die Laufwerke zwischen den einzelnen Durchläufen formatiert werden.

Zur Ermittlung des maximalen anhaltenden Datendurchsatzes der Laufwerke wurden zusätzliche Aufzeichnungen mit diskreten Datensätzen aus jeweils 2048 Samples im 16-Bit-Format durchgeführt. Dabei wurde ein anhaltender Datendurchsatz von 75,9 GB/s erreicht. Dies entspricht dem maximalen anhaltenden Datendurchsatz dieser Systemkonfiguration.

Skalierbarkeit und zukünftige Erweiterungsmöglichkeiten
Disk-Streaming-Systeme lassen sich flexibel an unterschiedlichste Anforderungen anpassen. Auch die verfügbaren Firmware-Optionen der Digitizer bieten Möglichkeiten für spätere Erweiterungen. So kann beispielsweise ein Vierkanalsystem zunächst mit zwei ADQ35 und einer Zweikanal-Firmware für 5 GSPS aufgebaut und später durch vier ADQ35 mit einer Einkanal-Firmware für 10 GSPS erweitert werden. Zu den verfügbaren Erweiterungsoptionen für Disk-Streaming-Systeme gehören:

•  Speicherkapazitäten im Petabyte-Bereich und eine anhaltende Schreibleistung von mehr als 80 GB/s: durch den Einsatz von NVMe-Laufwerken und Laufwerksträgern in Enterprise-Qualität.
•  Laufwerke mit hoher Lebensdauer: Jedes Laufwerk ist für mehr als 70.000 TB geschriebene Daten (TBW) ausgelegt.
•  Synchronisierte Konfigurationen mit mehreren Gehäusen für hohe Kanalzahlen: Das System lässt sich mit dem 16-Steckplatz-Erweiterungsgehäuse DPS16-PCIe ausbauen. Alternativ können mehrere DPS7-PCIe-Systeme eingesetzt werden. Die Takt- und Triggersignale der Digitizer lassen sich über alle Gehäuse hinweg synchronisieren.
•  Echtzeitverarbeitung auf der GPU vor der Speicherung: Durch die Verarbeitung der Daten auf einer GPU lässt sich das zu speichernde Datenvolumen reduzieren. Dadurch sinken auch die Anforderungen an Speicherkapazität und Datendurchsatz. Die libads-Bibliothek unterstützt NVIDIA GPUDirect Storage und ermöglicht so die direkte Übertragung der Daten vom Digitizer über die GPU zum Datenträger.
•  Echtzeitverarbeitung auf dem FPGA vor der Speicherung: Die Daten können mithilfe verfügbarer Firmware-Optionen für Digitizer der ADQ3-Serie oder durch kundenspezifische Logik auf Basis des Development-Kit-Pakets direkt im FPGA verarbeitet und reduziert werden.
•  Bauformen: Es stehen PXIe-, Desktop- und Rackmount-Ausführungen zur Verfügung.

Fazit
Die vorgestellte Disk-Streaming-Lösung senkt die Kosten für die Hochgeschwindigkeits-Datenspeicherung, indem sie die libads-Bibliothek von Teledyne SP Devices mit Laufwerken kombiniert, die im SLC-Modus betrieben werden. Dadurch lassen sich die Gesamtkosten für den Speicher erheblich reduzieren. Da weniger PCIe-Steckplätze für Speichergeräte benötigt werden, kann zudem eine höhere Kanalzahl pro Gehäuse realisiert werden.

Eine kosteneffiziente Disk-Streaming-Lösung lässt sich an nahezu jede Anforderung anpassen. Wir bieten sowohl komplette Systeme als auch Unterstützung bei der Entwicklung eigener Systeme und der Aufrüstung bestehender Lösungen.

Über Teledyne SP Devices

Teledyne SP Devices ist ein Pionier im Bereich der Hochgeschwindigkeits-Datenerfassung und bietet fortschrittliche Digitizer- und Signalverarbeitungslösungen für anspruchsvolle Anwendungen weltweit. Mit einer langjährigen Innovationsgeschichte und einer frühen Vorreiterrolle bei der Entwicklung von Digitizern mit 10 GSPS unterstützen wir unsere Kunden dabei, Daten schneller, präziser und effizienter zu erfassen und zu verarbeiten.

Weitere Informationen unter: https://www.spdevices.com/en-us?utm_source=mepax

  Fordern Sie weitere Informationen an…