Research Engineer, AI Monitoring

Anthropic PBC
  • Vollzeit
  • San Francisco, United States
Entwicklung Forschung

Anthropic sucht eine Person mit Engineering- und Forschungserfahrung, die Klassifikatoren entwickelt und betreibt, um unsichere Aktionen interner KI-Agenten zu erkennen und zu blockieren. Die Stelle verbindet Forschung zur präzisen Erkennung seltener, neuartiger und adversarialer Verhaltensweisen mit Production Engineering für Systeme in Forschung, Training und Evaluationen. Sie tragen dazu bei, diese Schutzmaßnahmen zuverlässig und skalierbar zu machen, arbeiten eng mit anderen Teams zusammen und setzen KI-Agenten für Experimente und die Entwicklung von Software ein.

Anforderungen

  • Mehrere Arbeitsstränge organisieren und priorisieren sowie klar mit betroffenen Teams kommunizieren können.
  • Code und experimentelle Ergebnisse kritisch prüfen können, einschließlich der Arbeit von KI-Agenten.
  • Ein echtes Interesse an der Entwicklung sicherer und nützlicher KI-Systeme haben.
  • Echtzeitklassifikatoren zur Erkennung unsicherer Agentenaktionen entwerfen, trainieren und evaluieren, etwa promptbasierte Modelle, trainierte Klassifikatoren oder Sonden für interne Modellprozesse.
  • Klassifikatoren für interne Agenten, Reinforcement-Learning-Training und Evaluationen bereitstellen, abstimmen und betreiben; Verantwortung für Genauigkeit, Zuverlässigkeit, Latenz, Kosten und Fehlerverhalten übernehmen.
  • Datensätze, Labeling-Pipelines und Evaluationen entwickeln, um Klassifikatoren und Schadenskategorien zu messen und zu verbessern.
  • Mit Red-Team-Kolleginnen und -Kollegen Klassifikatoren Belastungstests unterziehen und gegen entdeckte Schwächen absichern; mit den nutzenden Teams zusammenarbeiten, um falsch positive Ergebnisse schnell zu beheben, ohne den Schutz zu schwächen.
  • Die Ausrichtung des Teams mitgestalten, einschließlich Entscheidungen darüber, was entwickelt wird, wo Partnerschaften sinnvoll sind und worin investiert wird.
  • Wünschenswert sind Erfahrung mit der Leitung technisch anspruchsvoller, unklar definierter Projekte; mit der Evaluation großer Sprachmodelle, der Entwicklung von Klassifikatoren oder dem Betrieb hochskalierter Produktionssysteme; sowie mit Erkennungssystemen, bei denen echte Treffer selten und Fehlalarme teuer sind, etwa bei Missbrauchs-, Betrugs-, Spam- oder Einbruchserkennung.
  • Weitere nützliche Erfahrungen umfassen den Betrieb latenzarmer, hochverfügbarer Dienste einschließlich Bereitschaftsdienst; das Fine-Tuning von Sprachmodellen oder den Einsatz von Sonden für interne Modellprozesse; LLM-Inferenz- oder Serving-Infrastruktur; die Integration von Komponenten in Trainingsinfrastruktur; Sicherheit; oder Forschung zu AI Control, skalierbarer Überwachung, Agentensicherheit oder Reinforcement Learning.
  • Als Mindestbildung ist ein Bachelorabschluss oder eine gleichwertige Kombination aus Bildung, Ausbildung und/oder Erfahrung angegeben; erforderlich sind relevante Studien- oder Berufserfahrungen. Die erwartete Berufserfahrung richtet sich nach der internen Einstufung der Stelle.

Zusätzliche Informationen

Anthropic ist eine Public Benefit Corporation mit Hauptsitz in San Francisco und verfolgt das Ziel, zuverlässige, interpretierbare und steuerbare KI zu entwickeln. Die jährliche Gehaltsspanne für diese Stelle beträgt £375.000–£640.000 GBP. Mitarbeitende sollen derzeit mindestens 25 % ihrer Arbeitszeit in einem Büro verbringen; für manche Stellen ist mehr Präsenz erforderlich. Visumsponsoring ist möglich. Interessierte werden zur Bewerbung ermutigt, auch wenn sie nicht alle Qualifikationen erfüllen. Zu den Leistungen gehören wettbewerbsfähige Vergütung, optionales Matching von Aktienspenden, großzügiger Urlaub und Elternurlaub, flexible Arbeitszeiten und angenehme Büroräume für die Zusammenarbeit. Bewerbende können die Hinweise zur KI-Nutzung im Bewerbungsverfahren einsehen. Recruiter kontaktieren Kandidatinnen und Kandidaten über @anthropic.com oder weisen sich als beauftragte Recruiting-Agentur aus; sie verlangen niemals Geld oder Bankdaten.

Weitere Jobs in den Kategorien Entwicklung und Forschung

APG Asset Management

  • Vollzeit
  • Heerlen, Netherlands

Gehalt: 5533.19 - 7143.86 EUR P1M

Entwicklung Forschung

Unternehmen, die KI-Talente einstellen

Von Forschungslaboren bis hin zu schnell wachsenden Startups – diese Arbeitgeber entwickeln mit Künstlicher Intelligenz und rekrutieren auf OnlyAIJobs.