Research Engineer, AI Monitoring

Anthropic PBC
  • Vaste banen
  • San Francisco, United States
Ontwikkeling Onderzoek

Anthropic zoekt een engineer-onderzoeker die classifiers ontwikkelt en beheert om onveilige acties van interne AI-agenten te detecteren en tegen te houden. De functie combineert onderzoek naar nauwkeurige detectie van zeldzaam, nieuw en adversarieel gedrag met production engineering voor systemen die worden gebruikt in onderzoek, training en evaluaties. Je helpt deze beveiligingsmaatregelen betrouwbaar op schaal te maken en werkt nauw samen met andere teams, waarbij je AI-agenten inzet om experimenten uit te voeren en code te leveren.

Functie-eisen

  • Meerdere werkstromen kunnen organiseren en prioriteren, en helder communiceren met betrokken teams.
  • Code en experimentele resultaten kritisch kunnen beoordelen, ook wanneer deze door AI-agenten zijn geproduceerd.
  • Oprechte belangstelling hebben voor de ontwikkeling van veilige en maatschappelijk nuttige AI-systemen.
  • Realtime-classifiers ontwerpen, trainen en evalueren die onveilige acties van agenten detecteren, zoals modellen met prompts, getrainde classifiers of probes voor modelinterne processen.
  • Classifiers implementeren, afstellen en beheren voor interne agenten, reinforcement-learningtraining en evaluaties; verantwoordelijkheid nemen voor nauwkeurigheid, betrouwbaarheid, latentie, kosten en foutgedrag.
  • Datasets, labelpijplijnen en evaluaties ontwikkelen om classifiers en taxonomieën van schade te meten en te verbeteren.
  • Samenwerken met red-teamcollega’s om classifiers te testen en bestand te maken tegen gevonden zwakke punten; met gebruikende teams werken aan snelle oplossingen voor fout-positieven zonder de bescherming te verzwakken.
  • Bijdragen aan de koers van het team, waaronder keuzes over wat te bouwen, met wie samen te werken en waarin te investeren.
  • Gewenste ervaring omvat het leiden van technisch werk met onduidelijke kaders; het evalueren van grote taalmodellen, ontwikkelen van classifiers of beheren van grootschalige productiesystemen; en detectiesystemen waarbij echte positieven zeldzaam zijn en fout-positieven kostbaar, zoals systemen tegen misbruik, fraude, spam of indringers.
  • Ook nuttig zijn ervaring met het beheren van diensten met lage latentie en hoge beschikbaarheid, inclusief bereikbaarheidsdiensten; taalmodellen finetunen of probes voor modelinterne processen gebruiken; LLM-inferentie- of servinginfrastructuur; componenten integreren in trainingsinfrastructuur; beveiliging; of onderzoek naar AI-control, schaalbaar toezicht, agentveiligheid of reinforcement learning.
  • Minimaal vereist is een bachelordiploma of een gelijkwaardige combinatie van opleiding, training en/of ervaring; relevante studie of ervaring is vereist. De verwachte ervaring hangt af van het interne functieniveau.

Aanvullende informatie

Anthropic is een public-benefit corporation met hoofdkantoor in San Francisco en richt zich op betrouwbare, interpreteerbare en bestuurbare AI. De jaarlijkse salarisrange voor deze functie is £375.000–£640.000 GBP. Medewerkers werken momenteel naar verwachting ten minste 25% van de tijd op kantoor; voor sommige functies geldt een hogere aanwezigheid. Visumsponsoring is mogelijk, en geïnteresseerden worden aangemoedigd te solliciteren, ook als ze niet aan alle kwalificaties voldoen. De arbeidsvoorwaarden omvatten een concurrerende beloning, optionele matching van donaties van aandelen, ruim verlof en ouderschapsverlof, flexibele werktijden en een prettige samenwerkingsruimte. Kandidaten kunnen het beleid over AI-gebruik tijdens sollicitaties raadplegen. Recruiters nemen contact op via @anthropic.com of maken bekend dat ze namens Anthropic werken; zij vragen nooit om geld of bankgegevens.

Meer vacatures binnen de categorieën Ontwikkeling en Onderzoek

APG Asset Management

  • Vaste banen
  • Heerlen, Netherlands

Salaris: 5533.19 - 7143.86 EUR P1M

Ontwikkeling Onderzoek

Flex Ltd.

  • Vaste banen
  • Oostrum, Netherlands

Salaris: 3730 - 3730 EUR MONTH

Ontwikkeling Machine Learning Onderzoek

Bedrijven die AI-talent aannemen

Van onderzoekslabs tot snelgroeiende startups: deze werkgevers bouwen met kunstmatige intelligentie en werven op OnlyAIJobs.