Senior AI Research Engineer - GPU Systems & Kernels

Datadog, Inc.
  • Vaste banen
  • New York, United States
Ontwikkeling Onderzoek

Als Research Engineer in het Frontier Foundations-team van Datadog AI Research help je grootschalige modeltraining en inferentie zo snel en efficiënt mogelijk te maken met de beschikbare hardware. Je bouwt en optimaliseert GPU-kernels en pakt geheugen- en communicatieknelpunten aan, waaronder die bij grote Mixture-of-Experts-modellen. Je werkt samen met Research Scientists en draagt bij aan infrastructuur voor het AI-onderzoek van Datadog op het gebied van cloudobservability en beveiliging.

Functie-eisen

  • Diepgaande expertise in ten minste één gebied: ontwikkeling en optimalisatie van GPU-kernels, communicatie met lage latentie en collectieve bewerkingen, of grootschalige trainingsinfrastructuur.
  • Je kunt redeneren over hardwarebeperkingen zoals geheugen, bandbreedte en interconnecttopologie, knelpunten identificeren en uitleggen hoe je die verifieert.
  • Je beheerst een systeemtaal zoals C++, Rust of CUDA C en Python.
  • Sterke vaardigheden in debuggen en profileren, onder meer met tools zoals Nsight.
  • Je kunt ontwerp- en prestatieafwegingen helder uitleggen aan zowel technische als niet-technische doelgroepen.
  • GPU-kernels schrijven, afstellen en debuggen met CUDA, Triton of vergelijkbare technologieën voor belangrijke LLM-trainings- en inferentietaken.
  • Optimaliseren voor recente NVIDIA-GPU’s, met aandacht voor geheugenhiërarchie, tensor cores en precisieformaten zoals FP8 en FP4.
  • Communicatiekosten in gedistribueerde workloads, zoals all-to-all en all-reduce, verlagen en communicatie en berekeningen overlappen via NVLink en tussen nodes.
  • End-to-end trainings- en rollout-workloads profileren, bepalen of ze worden begrensd door berekeningen, geheugen of communicatie, en optimalisatieruimte kwantificeren.
  • Benchmarks, profilingtools en regressietests bouwen en met Research Scientists nieuwe modelarchitecturen efficiënt implementeren.
  • Technieken verkennen zoals training en serving met lage precisie, speculative decoding en gefuseerde of persistente kernels.
  • Ervaring met Mixture-of-Experts-modellen, expert parallelism, sparse inferentie, NCCL of NVSHMEM, overlap van communicatie en berekeningen, Triton of CUTLASS, frameworks voor gedistribueerde training, GPU-intensieve systemen of open-source ML- en systeemprojecten is een pré.

Aanvullende informatie

Datadog biedt een platform voor observability en beveiliging dat inzicht geeft in applicaties, infrastructuur, data, modellen en beveiliging. De functie is aangeduid als hybride. Datadog verwelkomt sollicitanten met uiteenlopende achtergronden en moedigt ook kandidaten aan die nog niet aan alle eisen voldoen. Het bedrijf biedt gelijke kansen; ondersteuning op het gebied van toegankelijkheid kan worden aangevraagd via het formulier voor accommodatieverzoeken. Sollicitatiegegevens worden verwerkt volgens de Privacyverklaring voor sollicitanten en kandidaten van Datadog; kandidaten kunnen ook de AI-richtlijnen voor sollicitatiegesprekken raadplegen.

Meer vacatures binnen de categorieën Ontwikkeling en Onderzoek

APG Asset Management

  • Vaste banen
  • Heerlen, Netherlands

Salaris: 5533.19 - 7143.86 EUR P1M

Ontwikkeling Onderzoek

Flex Ltd.

  • Vaste banen
  • Oostrum, Netherlands

Salaris: 3730 - 3730 EUR MONTH

Ontwikkeling Machine Learning Onderzoek

Bedrijven die AI-talent aannemen

Van onderzoekslabs tot snelgroeiende startups: deze werkgevers bouwen met kunstmatige intelligentie en werven op OnlyAIJobs.