Senior AI Research Engineer - LLM Training & Inference Infrastructure

Datadog, Inc.
  • Temps plein
  • New York, United States
Développement Infrastructure Recherche

En tant qu’ingénieur de recherche au sein de l’équipe Frontier Foundations de Datadog, vous travaillerez avec des chercheurs pour développer des systèmes distribués dédiés à l’entraînement et à l’inférence de LLM à grande échelle ainsi qu’au reinforcement learning. Vous construirez et exploiterez une infrastructure répartie sur de grands clusters GPU afin d’accélérer les expérimentations et de garantir la fiabilité des entraînements de longue durée. L’équipe soutient la recherche sur des agents autonomes appliqués à l’observabilité et développe l’infrastructure nécessaire pour entraîner et servir des modèles à grande échelle.

Exigences

  • Solide expertise en systèmes distribués et en infrastructure ML pour l’entraînement et l’inférence à grande échelle ; une expérience avec Ray, Kubernetes, Slurm ou des outils similaires est un atout.
  • Maîtrise de Python et d’au moins un langage système tel que Rust, C++ ou Go.
  • Expérience de l’exploitation d’infrastructures d’entraînement ou de serving à grande échelle, ou de systèmes d’ordonnancement et d’orchestration pour des charges GPU ou autres charges haute performance.
  • Compréhension des limites de performance de l’inférence distribuée, notamment en matière de communication, de mémoire, d’ordonnancement et de tâches retardataires.
  • Solides compétences en débogage, profilage et diagnostic d’incidents ; une expérience d’astreinte est souhaitable.
  • Capacité à expliquer clairement les compromis de conception et de performance à des interlocuteurs techniques et non techniques.
  • Une expérience préalable de l’entraînement de modèles est un atout, mais n’est pas indispensable pour les profils solides en systèmes distribués ou en HPC.
  • Concevoir, développer et exploiter une infrastructure distribuée d’entraînement et d’inférence pour les LLM, notamment les modèles Mixture-of-Experts ; faire évoluer l’entraînement grâce au parallélisme, à l’optimisation mémoire, aux checkpoints et à la reprise après incident.
  • Créer des systèmes d’inférence, de rollout, d’évaluation, d’expérimentation et de RL, ainsi que des environnements sandbox pour le RL en ligne et le post-entraînement d’agents, sans ralentir l’entraînement.
  • Réaliser des benchmarks continus de la vitesse des rollouts, du débit d’entraînement et du comportement d’apprentissage, et créer des tableaux de bord révélant les régressions.
  • Améliorer les processus de travail des chercheurs concernant la soumission des tâches, l’ordonnancement, les quotas, l’utilisation des GPU et l’observabilité.
  • Collaborer avec les équipes plateforme sur la capacité des clusters, le réseau et l’ordonnancement chez différents fournisseurs de GPU ; analyser les problèmes de performance et de fiabilité touchant le matériel, les logiciels et les systèmes distribués.
  • Sont également appréciées les expériences avec Megatron-LM, TorchTitan, DeepSpeed, vLLM, SGLang, les systèmes RL, NCCL, RDMA, les réseaux à faible latence, le benchmarking et le suivi des GPU, l’exécution en sandbox, les infrastructures d’évaluation ou les projets open source en ML et systèmes distribués.

Informations complémentaires

Datadog propose une plateforme d’observabilité et de sécurité et encourage les candidatures de personnes qui ne remplissent pas encore toutes les exigences mais souhaitent développer leurs compétences. Les avantages varient selon le pays et le type de contrat et comprennent des avantages sociaux à l’échelle mondiale, des RSU, un plan d’achat d’actions pour les employés, des échanges avec les équipes de New York et Paris, des possibilités de participer à des conférences, du mentorat et des groupes de ressources internes. Datadog promeut l’égalité des chances et propose un formulaire pour demander des aménagements liés à l’accessibilité du processus de candidature. Les données des candidats sont traitées conformément à l’avis de confidentialité ; les règles relatives à l’IA lors des entretiens sont disponibles en ligne.

Plus d'emplois dans les catégories Développement, Infrastructure et Recherche

Equans

  • Temps plein
  • Dordrecht, Netherlands

Salaire: 5100 - 6950 EUR MONTH

Développement Infrastructure Apprentissage Automatique

Flex Ltd.

  • Temps plein
  • Oostrum, Netherlands

Salaire: 3730 - 3730 EUR MONTH

Développement Apprentissage Automatique Recherche

Entreprises recrutant des talents en IA

Des laboratoires de recherche aux startups en croissance rapide, ces employeurs construisent avec l'Intelligence Artificielle et recrutent sur OnlyAIJobs.