Principal Engineer, Data Retrieval
- Remote, Schweiz
- Lead
- Veröffentlicht vor 7 Tagen
oder bewirb dich mit Claude / ChatGPT / Muse
Technische Leitung mit eigener Umsetzung für die Infrastruktur, die Trainingsdaten im Pretraining-Maßstab findet, crawlt und einliest, beginnend mit Code- und STEM-Quellen.
Über die Stelle
Das Team baut und betreibt eine einzige Plattform für Quellenerkennung, Crawl-Planung, Abruf und Ingestion und muss sie auf Pretraining-Maßstab bringen und auf neue Modellfamilien und Datentypen ausweiten.
Auf einen Blick
- Gehalt
- In der Anzeige nicht angegeben
- Remote-Bereich
- Remote, Schweiz
- Level
- Lead
- Skills
- Distributed systems, Web crawling, URL indexing, Queueing systems, Streaming pipelines, Capacity planning
- Veröffentlicht
- 28. Okt. 2026
- Zuletzt geprüft
- 3. Nov. 2026
- Sprache der Anzeige
- Englisch
Deine Aufgaben
- Frontier-Speicher und Queueing mit hohem Schreibdurchsatz, Deduplizierung sowie Planung nach Qualität, Vielfalt und Aktualität entwerfen
- Eine Discovery-Schleife bauen, die Links aus Seiten zieht und neue Kandidaten zurück in die Frontier gibt
- Eine gemeinsame Crawl-Ausführungsschicht schaffen, die im großen Maßstab höflich abruft und mit dynamischen Seiten umgeht
- Pipelines für offenes Web, lizenzierte und Partner-Inhalte bauen: Text, PDFs, Code-Repos und multimodale Assets
- Stabile Connector-Schnittstellen definieren, damit andere Teams Quellen hinzufügen können, ohne die Plattform anzufassen
Dein Profil
- 15 oder mehr Jahre in der Softwareentwicklung, mit großen verteilten Systemen, die entworfen und im Produktivbetrieb betrieben wurden
- Tiefe Erfahrung mit Web-Crawling oder angrenzender Discovery-, Indexing- oder Ingestion-Arbeit, einschließlich verteilter Planung und zustandsbehafteter Services
- Sicherheit im Wechsel zwischen Architektur, Implementierung, Performance-Analyse und Debugging im Produktivbetrieb
- Erfahrung mit Batch- oder Streaming-Pipelines und den Fragen zu Konsistenz, Retry, Backpressure und Recovery, die sie aufwerfen
Von Vorteil
- Nachweisliche Erfolge bei der Verbesserung des Datenertrags oder der Verarbeitungsqualität im großen Maßstab
Eine typische Woche
- Architektur-Reviews und kritische Implementierungsarbeit zusammen mit den Storage- und Scaling-Teams
- Zusammenarbeit mit Parsing- und Curation-Teams, um Code, Mathe und strukturierte Inhalte zu erhalten
- Zusammenarbeit mit Recht, Datenschutz, Sicherheit und Governance, um Verlagsbedingungen in prüfbare Kontrollen zu übersetzen
- Die Pipeline instrumentieren und Service-Ziele für Durchsatz, Aktualität und Zuverlässigkeit setzen
- Abhängigkeiten zwischen Teams koordinieren und schnelle Datenlieferung gegen Plattformarbeit abwägen
So bewirbt sich Keywordise für dich
Alex Demo
[email protected]
Aus deinem Lebenslauf
Ja, komplett remote
- Gesendet
- 09:41
- Angehängt
- Dein angepasster Lebenslauf
- 1Lebenslauf hochladenFüge deinen Lebenslauf einmal hinzu. Das dauert etwa eine Minute.
- 2Auf diesen Job zugeschnittenKeywordise schreibt aus deiner echten Erfahrung Lebenslauf und Anschreiben für diesen Job.
- 3Das Formular füllt sich selbstName, E-Mail, Erfahrung und Fragen der Auswahl, Feld für Feld.
- 4Bewerbung gesendetDu bekommst eine Bestätigung und verfolgst alles in deinem Dashboard.
Mit Keywordise AI bewerben7 Tage gratis, keine Karte.
Mit deinem KI-Assistenten bewerben
Verbinde Keywordise einmal mit deinem Assistenten und schick ihm dann den Prompt. Er bewirbt sich für dich.
Claude
- Öffne in Claude die Einstellungen, dann Connectors, und wähle Eigenen Connector hinzufügen.
- Nenne ihn Keywordise und füge die Connector-URL ein.
- Klicke auf Verbinden, melde dich bei Keywordise an und bestätige. Schick dann den Prompt in einem neuen Chat.
https://keywordise.com/mcpDu kannst die Verbindung jederzeit in deinen Keywordise-Einstellungen trennen.
ChatGPT
- Öffne in ChatGPT die Einstellungen, dann Connectors. Bei Tarifen, die es verlangen, schalte zuerst den Entwicklermodus ein.
- Füge einen neuen Connector mit der Connector-URL hinzu und wähle OAuth. Lass Client-ID und Secret leer.
- Melde dich bei Keywordise an und bestätige. Schick dann den Prompt in einem neuen Chat.
https://keywordise.com/mcpDu kannst die Verbindung jederzeit in deinen Keywordise-Einstellungen trennen.
Muse
- Öffne Muse (muse.ai oder die App) und schick ihr die Nachricht unten.
- Fragt Muse, wie du dich anmelden willst, antworte OAuth. Öffne den Anmeldelink, melde dich bei Keywordise an und bestätige.
- Schick den Prompt. Muse fragt nach, bevor sie etwas abschickt.
Füge einen eigenen Connector namens Keywordise hinzu. Es ist ein Remote-MCP-Server unter https://keywordise.com/mcp und nutzt OAuth. Gib mir den Anmeldelink.Muse ist vorerst nur in den USA verfügbar.
Bewirb dich auf den Keywordise-Job j7s5n3xm6zFragen zu dieser Stelle
Kann ich die Stelle remote machen, und aus welchen Ländern?
Ja, die Stelle ist als remote ausgeschrieben und richtet sich an Bewerber in der Schweiz.
Was wird für diese Stelle gezahlt?
In der Anzeige ist kein Gehalt angegeben, deshalb gibt es keinen Wert zu nennen.
Welche Erfahrung wird verlangt?
Level laut Anzeige: lead. Die Anzeige verlangt: 15 oder mehr Jahre in der Softwareentwicklung, mit großen verteilten Systemen, die entworfen und im Produktivbetrieb betrieben wurden; tiefe Erfahrung mit Web-Crawling oder angrenzender Discovery-, Indexing- oder Ingestion-Arbeit, einschließlich verteilter Planung und zustandsbehafteter Services; sicherheit im Wechsel zwischen Architektur, Implementierung, Performance-Analyse und Debugging im Produktivbetrieb. Genannte Skills: Distributed systems, Web crawling, URL indexing, Queueing systems.
Wie bewerbe ich mich mit Keywordise AI?
Wähle Mit Keywordise AI bewerben, registriere dich und lade deinen Lebenslauf hoch. Keywordise schreibt aus deiner echten Erfahrung Lebenslauf und Anschreiben für diese Stelle und bewirbt sich für dich. Die 7 Tage Test brauchen keine Karte.
Weitere Remote-Jobs: Ingenieurwesen
- EElasticSenior Java Engineer, Distributed Systems (Serverless Search)
- Remote, Schweiz
- VSVenon SolutionsSenior HPC Engineer
- Remote, weltweit
- CSConstellation SoftwareQuality Engineering Lead / Automation Architect
- Remote, weltweit
- CCloudflarePrincipal Customer Engineer, Start Up AI
- Remote, weltweit
- H8Hut 8NOC Engineer
- Remote, weltweit
- CCelnorSenior Fire Engineer
- Remote, weltweit