Senior AI Research Engineer - GPU Systems & Kernels

Datadog, Inc.
  • Vollzeit
  • New York, United States
Entwicklung Forschung

Als Research Engineer im Team Frontier Foundations von Datadog AI Research tragen Sie dazu bei, das Training und die Inferenz großer Modelle auf der verfügbaren Hardware so schnell und effizient wie möglich zu gestalten. Sie entwickeln und optimieren GPU-Kernels und beseitigen Speicher- und Kommunikationsengpässe, auch bei großen Mixture-of-Experts-Modellen. Dabei arbeiten Sie mit Research Scientists zusammen und unterstützen die Infrastruktur für Datadogs KI-Forschung zu Cloud-Observability und Sicherheit.

Anforderungen

  • Fundierte Expertise in mindestens einem Bereich: Entwicklung und Optimierung von GPU-Kernels, Kommunikation mit geringer Latenz und kollektive Operationen oder Infrastruktur für großskaliges Training.
  • Sie können Hardwarebeschränkungen wie Speicher, Bandbreite und Interconnect-Topologie beurteilen, Engpässe erkennen und erläutern, wie Sie diese überprüfen würden.
  • Sie beherrschen eine Systemsprache wie C++, Rust oder CUDA C sowie Python.
  • Ausgeprägte Fähigkeiten beim Debugging und Profiling, auch mit Tools wie Nsight.
  • Sie können Entwurfs- und Leistungsabwägungen verständlich an technische und nichttechnische Zielgruppen vermitteln.
  • GPU-Kernels mit CUDA, Triton oder ähnlichen Technologien für wichtige LLM-Trainings- und Inferenzoperationen schreiben, abstimmen und debuggen.
  • Optimierung für aktuelle NVIDIA-GPUs, einschließlich Speicherhierarchie, Tensor Cores und Niedrigpräzisionsformaten wie FP8 und FP4.
  • Kommunikationskosten in verteilten Workloads, etwa All-to-All und All-Reduce, senken und Kommunikation mit Berechnungen über NVLink und zwischen Knoten überlappen.
  • End-to-End-Trainings- und Rollout-Workloads profilieren, feststellen, ob sie durch Rechenleistung, Speicher oder Kommunikation begrenzt sind, und Optimierungsspielraum quantifizieren.
  • Benchmarks, Profiling-Tools und Regressionstests erstellen sowie gemeinsam mit Research Scientists neue Modellarchitekturen effizient implementieren.
  • Techniken wie Niedrigpräzisionstraining und -Serving, Speculative Decoding sowie fusionierte oder persistente Kernels erkunden.
  • Erfahrung mit Mixture-of-Experts-Modellen, Expert Parallelism, Sparse Inference, NCCL oder NVSHMEM, der Überlappung von Kommunikation und Berechnung, Triton oder CUTLASS, Frameworks für verteiltes Training, GPU-intensiven Systemen oder Open-Source-ML- und Systemprojekten ist von Vorteil.

Zusätzliche Informationen

Datadog bietet eine Observability- und Sicherheitsplattform, die Einblick in Anwendungen, Infrastruktur, Daten, Modelle und Sicherheit ermöglicht. Die Stelle ist als hybrid gekennzeichnet. Datadog begrüßt Bewerbungen aus allen Lebensbereichen und ermutigt auch Personen zur Bewerbung, die noch nicht alle Anforderungen erfüllen. Das Unternehmen bietet Chancengleichheit; Unterstützung zur Barrierefreiheit kann über das Formular für Unterstützungsanfragen angefordert werden. Bewerbungsdaten werden gemäß Datadogs Datenschutzhinweis für Bewerberinnen und Bewerber verarbeitet; die KI-Richtlinien für Bewerbungsgespräche stehen ebenfalls zur Verfügung.

Weitere Jobs in den Kategorien Entwicklung und Forschung

APG Asset Management

  • Vollzeit
  • Heerlen, Netherlands

Gehalt: 5533.19 - 7143.86 EUR P1M

Entwicklung Forschung

Unternehmen, die KI-Talente einstellen

Von Forschungslaboren bis hin zu schnell wachsenden Startups – diese Arbeitgeber entwickeln mit Künstlicher Intelligenz und rekrutieren auf OnlyAIJobs.