- Vaste banen
- Palo Alto, United States
Senior AI Research Engineer - LLM Training & Inference Infrastructure
- Vaste banen
- New York, United States
Als Research Engineer in het Frontier Foundations-team van Datadog werk je samen met Research Scientists aan gedistribueerde systemen voor grootschalige LLM-training, reinforcement learning en inferentie. Je bouwt en beheert infrastructuur over GPU-clusters, zodat onderzoekers snel kunnen itereren en lange trainingsruns betrouwbaar kunnen afronden. Het team ondersteunt onderzoek naar autonome agents voor observability en ontwikkelt de infrastructuur om modellen op schaal te trainen en te bedienen.
Functie-eisen
- Grondige kennis van gedistribueerde systemen en ML-infrastructuur voor grootschalige training en inferentie; ervaring met Ray, Kubernetes, Slurm of vergelijkbare tools is een plus.
- Goede beheersing van Python en minstens één systeemtaal, zoals Rust, C++ of Go.
- Ervaring met het beheren van grootschalige training- of serving-infrastructuur, of met schedulers en orkestratiesystemen voor GPU- of andere high-performance workloads.
- Inzicht in beperkingen van de prestaties van gedistribueerde inferentie, waaronder communicatie, geheugen, scheduling en trage workers.
- Sterke vaardigheden in debugging, profiling en incidentdiagnose; ervaring met bereikbaarheidsdiensten is gewenst.
- Ontwerp- en prestatieafwegingen helder kunnen uitleggen aan zowel technische als niet-technische doelgroepen.
- Ervaring met modeltraining is waardevol, maar niet vereist voor kandidaten met een sterke achtergrond in gedistribueerde systemen of HPC.
- Ontwerpen, bouwen en beheren van gedistribueerde training- en inferentie-infrastructuur voor LLM's, waaronder Mixture-of-Experts-modellen; training opschalen met parallelisatie, geheugenoptimalisatie, checkpoints en herstel na storingen.
- Inference-, rollout-, evaluatie-, experimenteer- en RL-systemen bouwen, waaronder sandboxomgevingen voor online RL en agent-natraining, zonder de training te vertragen.
- Doorlopend benchmarks uitvoeren voor rollout-snelheid, trainingsdoorvoer en leergedrag, en dashboards maken die regressies zichtbaar maken.
- Onderzoekersworkflows verbeteren voor jobindiening, scheduling, quota's, GPU-benutting en observability.
- Samenwerken met platformteams rond cluster capaciteit, netwerken en scheduling bij verschillende GPU-providers; prestatie- en betrouwbaarheidsproblemen onderzoeken op het gebied van hardware, software en gedistribueerde systemen.
- Een pré zijn ervaring met Megatron-LM, TorchTitan, DeepSpeed, vLLM, SGLang, RL-systemen, NCCL, RDMA, netwerken met lage latentie, GPU-benchmarking en -monitoring, sandboxed uitvoering, evaluatie-infrastructuur of open-sourceprojecten voor ML en gedistribueerde systemen.
Aanvullende informatie
Datadog biedt een observability- en securityplatform en moedigt ook kandidaten aan die nog niet aan alle eisen voldoen, maar zich willen ontwikkelen. Arbeidsvoorwaarden kunnen per land en dienstverband verschillen en omvatten onder meer wereldwijde benefits, RSU's, een aandelenkoopplan voor medewerkers, samenwerking met collega's in New York en Parijs, conferentiemogelijkheden, mentorschap en personeelsnetwerken. Datadog is een werkgever die gelijke kansen biedt en heeft een formulier voor toegankelijkheidsaanpassingen bij sollicitaties. Gegevens van kandidaten worden verwerkt volgens de privacyverklaring; de AI-richtlijnen voor sollicitatiegesprekken zijn online beschikbaar.
Inloggen als werkzoekende
Log in om deze vacature op te slaan.
Door in te loggen ga je akkoord met de OnlyAIJobs Algemene Voorwaarden en Privacyverklaring met betrekking tot je privacygegevens.
Nog geen account?
Meer vacatures binnen de categorieën Ontwikkeling, Infrastructuur en Onderzoek
- Vaste banen
- Dordrecht, Netherlands
Salaris: 5100 - 6950 EUR MONTH
- Vaste banen
- Heerlen, Netherlands
Salaris: 5533.19 - 7143.86 EUR P1M
AI
- Vaste banen
- San Francisco, United States
- Vaste banen
- London, United Kingdom
AI
- Vaste banen
- Oostrum, Netherlands
Salaris: 3730 - 3730 EUR MONTH
Bedrijven die AI-talent aannemen
Van onderzoekslabs tot snelgroeiende startups: deze werkgevers bouwen met kunstmatige intelligentie en werven op OnlyAIJobs.