Senior AI Research Engineer - GPU Systems & Kernels

Datadog, Inc.
  • Temps plein
  • New York, United States
Développement Recherche

En tant qu’ingénieur de recherche au sein de l’équipe Frontier Foundations de Datadog AI Research, vous contribuerez à rendre l’entraînement et l’inférence de modèles à grande échelle aussi rapides et efficaces que le permet le matériel. Vous développerez et optimiserez des kernels GPU et éliminerez les goulots d’étranglement liés à la mémoire et aux communications, notamment pour les grands modèles Mixture-of-Experts. Vous travaillerez avec les Research Scientists et contribuerez à l’infrastructure soutenant les recherches de Datadog en IA appliquées à l’observabilité cloud et à la sécurité.

Exigences

  • Expertise approfondie dans au moins un domaine : développement et optimisation de kernels GPU, communications à faible latence et opérations collectives, ou infrastructure d’entraînement à grande échelle.
  • Capacité à raisonner sur les contraintes matérielles, telles que la mémoire, la bande passante et la topologie d’interconnexion, à repérer les goulots d’étranglement et à expliquer comment les vérifier.
  • Maîtrise d’un langage système tel que C++, Rust ou CUDA C, ainsi que de Python.
  • Solides compétences en débogage et en profilage, notamment avec des outils comme Nsight.
  • Capacité à expliquer clairement les compromis de conception et de performance à des publics techniques et non techniques.
  • Écrire, régler et déboguer des kernels GPU avec CUDA, Triton ou des technologies similaires pour les opérations majeures d’entraînement et d’inférence des LLM.
  • Optimiser pour les générations récentes de GPU NVIDIA, notamment leur hiérarchie mémoire, leurs Tensor Cores et les formats basse précision comme FP8 et FP4.
  • Réduire le coût des communications dans les charges distribuées, notamment all-to-all et all-reduce, et faire chevaucher communications et calculs sur NVLink et entre les nœuds.
  • Profiler les charges complètes d’entraînement et de déploiement, déterminer si elles sont limitées par le calcul, la mémoire ou les communications, et quantifier la marge d’optimisation.
  • Créer des benchmarks, des outils de profilage et des tests de régression, et collaborer avec les Research Scientists pour implémenter efficacement de nouvelles architectures de modèles.
  • Explorer des techniques telles que l’entraînement et le serving en basse précision, le speculative decoding et les kernels fusionnés ou persistants.
  • Une expérience des modèles Mixture-of-Experts, de l’expert parallelism, de l’inférence sparse, de NCCL ou NVSHMEM, du chevauchement calcul-communication, de Triton ou CUTLASS, des frameworks d’entraînement distribué, des systèmes exigeants en GPU ou de projets open source en ML et systèmes constitue un atout.

Informations complémentaires

Datadog propose une plateforme d’observabilité et de sécurité offrant une visibilité sur les applications, l’infrastructure, les données, les modèles et la sécurité. Le poste est indiqué comme hybride. Datadog accueille les candidatures de personnes de tous horizons et encourage également celles qui ne remplissent pas encore toutes les exigences à postuler. L’entreprise garantit l’égalité des chances ; une assistance liée à l’accessibilité peut être demandée au moyen du formulaire prévu à cet effet. Les informations de candidature sont traitées conformément à l’avis de confidentialité des candidats de Datadog ; les candidats peuvent également consulter ses recommandations relatives à l’IA lors des entretiens.

Plus d'emplois dans les catégories Développement et Recherche

APG Asset Management

  • Temps plein
  • Heerlen, Netherlands

Salaire: 5533.19 - 7143.86 EUR P1M

Développement Recherche

Flex Ltd.

  • Temps plein
  • Oostrum, Netherlands

Salaire: 3730 - 3730 EUR MONTH

Développement Apprentissage Automatique Recherche

Entreprises recrutant des talents en IA

Des laboratoires de recherche aux startups en croissance rapide, ces employeurs construisent avec l'Intelligence Artificielle et recrutent sur OnlyAIJobs.