Senior AI Research Engineer - LLM Training & Inference Infrastructure

Datadog, Inc.
  • Vaste banen
  • New York, United States
Ontwikkeling Infrastructuur Onderzoek

Als Research Engineer in het Frontier Foundations-team van Datadog werk je samen met Research Scientists aan gedistribueerde systemen voor grootschalige LLM-training, reinforcement learning en inferentie. Je bouwt en beheert infrastructuur over GPU-clusters, zodat onderzoekers snel kunnen itereren en lange trainingsruns betrouwbaar kunnen afronden. Het team ondersteunt onderzoek naar autonome agents voor observability en ontwikkelt de infrastructuur om modellen op schaal te trainen en te bedienen.

Functie-eisen

  • Grondige kennis van gedistribueerde systemen en ML-infrastructuur voor grootschalige training en inferentie; ervaring met Ray, Kubernetes, Slurm of vergelijkbare tools is een plus.
  • Goede beheersing van Python en minstens één systeemtaal, zoals Rust, C++ of Go.
  • Ervaring met het beheren van grootschalige training- of serving-infrastructuur, of met schedulers en orkestratiesystemen voor GPU- of andere high-performance workloads.
  • Inzicht in beperkingen van de prestaties van gedistribueerde inferentie, waaronder communicatie, geheugen, scheduling en trage workers.
  • Sterke vaardigheden in debugging, profiling en incidentdiagnose; ervaring met bereikbaarheidsdiensten is gewenst.
  • Ontwerp- en prestatieafwegingen helder kunnen uitleggen aan zowel technische als niet-technische doelgroepen.
  • Ervaring met modeltraining is waardevol, maar niet vereist voor kandidaten met een sterke achtergrond in gedistribueerde systemen of HPC.
  • Ontwerpen, bouwen en beheren van gedistribueerde training- en inferentie-infrastructuur voor LLM's, waaronder Mixture-of-Experts-modellen; training opschalen met parallelisatie, geheugenoptimalisatie, checkpoints en herstel na storingen.
  • Inference-, rollout-, evaluatie-, experimenteer- en RL-systemen bouwen, waaronder sandboxomgevingen voor online RL en agent-natraining, zonder de training te vertragen.
  • Doorlopend benchmarks uitvoeren voor rollout-snelheid, trainingsdoorvoer en leergedrag, en dashboards maken die regressies zichtbaar maken.
  • Onderzoekersworkflows verbeteren voor jobindiening, scheduling, quota's, GPU-benutting en observability.
  • Samenwerken met platformteams rond cluster capaciteit, netwerken en scheduling bij verschillende GPU-providers; prestatie- en betrouwbaarheidsproblemen onderzoeken op het gebied van hardware, software en gedistribueerde systemen.
  • Een pré zijn ervaring met Megatron-LM, TorchTitan, DeepSpeed, vLLM, SGLang, RL-systemen, NCCL, RDMA, netwerken met lage latentie, GPU-benchmarking en -monitoring, sandboxed uitvoering, evaluatie-infrastructuur of open-sourceprojecten voor ML en gedistribueerde systemen.

Aanvullende informatie

Datadog biedt een observability- en securityplatform en moedigt ook kandidaten aan die nog niet aan alle eisen voldoen, maar zich willen ontwikkelen. Arbeidsvoorwaarden kunnen per land en dienstverband verschillen en omvatten onder meer wereldwijde benefits, RSU's, een aandelenkoopplan voor medewerkers, samenwerking met collega's in New York en Parijs, conferentiemogelijkheden, mentorschap en personeelsnetwerken. Datadog is een werkgever die gelijke kansen biedt en heeft een formulier voor toegankelijkheidsaanpassingen bij sollicitaties. Gegevens van kandidaten worden verwerkt volgens de privacyverklaring; de AI-richtlijnen voor sollicitatiegesprekken zijn online beschikbaar.

Meer vacatures binnen de categorieën Ontwikkeling, Infrastructuur en Onderzoek

Equans

  • Vaste banen
  • Dordrecht, Netherlands

Salaris: 5100 - 6950 EUR MONTH

Ontwikkeling Infrastructuur Machine Learning

Flex Ltd.

  • Vaste banen
  • Oostrum, Netherlands

Salaris: 3730 - 3730 EUR MONTH

Ontwikkeling Machine Learning Onderzoek

Bedrijven die AI-talent aannemen

Van onderzoekslabs tot snelgroeiende startups: deze werkgevers bouwen met kunstmatige intelligentie en werven op OnlyAIJobs.