- Vollzeit
- Palo Alto, United States
Senior AI Research Engineer - LLM Training & Inference Infrastructure
- Vollzeit
- New York, United States
Als Research Engineer im Frontier-Foundations-Team von Datadog arbeiten Sie mit Research Scientists an verteilten Systemen für das groß angelegte Training und die Inferenz von LLMs sowie für Reinforcement Learning. Sie entwickeln und betreiben Infrastruktur über GPU-Cluster hinweg, damit Forschende schnell iterieren und lange Trainingsläufe zuverlässig abschließen können. Das Team unterstützt die Forschung an autonomen Agents für Observability und entwickelt die Infrastruktur, um Modelle in großem Maßstab zu trainieren und bereitzustellen.
Anforderungen
- Tiefgehende Kenntnisse verteilter Systeme und ML-Infrastruktur für Training und Inferenz im großen Maßstab; Erfahrung mit Ray, Kubernetes, Slurm oder ähnlichen Tools ist von Vorteil.
- Sicherer Umgang mit Python und mindestens einer Systemsprache wie Rust, C++ oder Go.
- Erfahrung im Betrieb groß angelegter Trainings- oder Serving-Infrastruktur oder mit Schedulern und Orchestrierungssystemen für GPU- oder andere Hochleistungs-Workloads.
- Verständnis der Leistungsgrenzen verteilter Inferenz, einschließlich Kommunikation, Speicher, Scheduling und langsamer Worker.
- Ausgeprägte Fähigkeiten in Debugging, Profiling und Incident-Diagnose; Bereitschafts- oder On-Call-Erfahrung ist wünschenswert.
- Fähigkeit, Design- und Leistungsabwägungen für technische und nicht-technische Zielgruppen verständlich zu erläutern.
- Erfahrung mit dem Training von ML-Modellen ist wertvoll, für Bewerbende mit fundiertem Hintergrund in verteilten Systemen oder HPC jedoch nicht zwingend erforderlich.
- Entwicklung und Betrieb verteilter Trainings- und Inferenzinfrastruktur für LLMs, einschließlich Mixture-of-Experts-Modellen; Skalierung des Trainings durch Parallelisierung, Speicheroptimierung, Checkpointing und Wiederherstellung nach Ausfällen.
- Aufbau von Inferenz-, Rollout-, Evaluierungs-, Experimentier- und RL-Systemen, einschließlich Sandboxes für Online-RL und das Post-Training von Agents, ohne das Training zu verlangsamen.
- Kontinuierliche Benchmarks für Rollout-Geschwindigkeit, Trainingsdurchsatz und Lernverhalten sowie Dashboards zur Erkennung von Regressionen erstellen.
- Arbeitsabläufe für Forschende bei Jobübermittlung, Scheduling, Kontingenten, GPU-Auslastung und Observability verbessern.
- Mit Plattformteams zu Clusterkapazität, Netzwerken und Scheduling über verschiedene GPU-Anbieter hinweg zusammenarbeiten sowie Leistungs- und Zuverlässigkeitsprobleme in Hardware, Software und verteilten Systemen untersuchen.
- Zusätzliche Vorteile sind Erfahrungen mit Megatron-LM, TorchTitan, DeepSpeed, vLLM, SGLang, RL-Systemen, NCCL, RDMA, Netzwerken mit geringer Latenz, GPU-Benchmarking und -Monitoring, Sandbox-Ausführung, Evaluierungsinfrastruktur oder Open-Source-Projekten für ML und verteilte Systeme.
Zusätzliche Informationen
Datadog bietet eine Observability- und Sicherheitsplattform und ermutigt auch Personen zur Bewerbung, die noch nicht alle Anforderungen erfüllen, sich aber weiterentwickeln möchten. Leistungen können je nach Land und Beschäftigungsart variieren und umfassen globale Benefits, RSUs, ein Mitarbeiteraktienkaufprogramm, Zusammenarbeit mit Kolleginnen und Kollegen in New York City und Paris, Konferenzmöglichkeiten, Mentoring und Mitarbeitergruppen. Datadog steht für Chancengleichheit und bietet ein Formular für Unterstützung und Barrierefreiheit im Bewerbungsprozess. Bewerberdaten werden gemäß Datenschutzhinweis verarbeitet; die KI-Richtlinien für Vorstellungsgespräche sind online verfügbar.
Anmeldung für Jobsuchende
Bitte melden Sie sich an, um diesen Job zu speichern.
Durch die Anmeldung stimmen Sie den Allgemeinen Geschäftsbedingungen und Datenschutzrichtlinie im Zusammenhang mit Ihren Datenschutzinformationen zu.
Noch kein Konto?
Weitere Jobs in den Kategorien Entwicklung, Infrastruktur und Forschung
- Vollzeit
- Dordrecht, Netherlands
Gehalt: 5100 - 6950 EUR MONTH
- Vollzeit
- Heerlen, Netherlands
Gehalt: 5533.19 - 7143.86 EUR P1M
AI
- Vollzeit
- San Francisco, United States
- Vollzeit
- London, United Kingdom
AI
- Vollzeit
- Oostrum, Netherlands
Gehalt: 3730 - 3730 EUR MONTH
Unternehmen, die KI-Talente einstellen
Von Forschungslaboren bis hin zu schnell wachsenden Startups – diese Arbeitgeber entwickeln mit Künstlicher Intelligenz und rekrutieren auf OnlyAIJobs.