Principal Engineer, Data Retrieval

À propos du poste

L'équipe construit et exploite une plateforme unique pour la découverte de sources, la planification des crawls, la récupération et l'ingestion, et doit la pousser à l'échelle du pré-entraînement et l'étendre à de nouvelles familles de modèles et de nouveaux types de données.

En un coup d'œil

Vos missions

• Concevoir un stockage et une mise en file d'attente de pointe avec des écritures à haut débit, la déduplication et une planification de la qualité, de la diversité et de la fraîcheur
• Construire une boucle de découverte qui extrait les liens des pages et réinjecte les nouveaux candidats dans la frontière
• Créer une couche d'exécution de crawl partagée qui récupère poliment à grande échelle et gère les sites dynamiques
• Construire des pipelines pour le web ouvert, les contenus sous licence et de partenaires : texte, PDFs, dépôts de code et ressources multimodales
• Définir des interfaces de connecteurs stables pour que d'autres équipes puissent ajouter des sources sans toucher à la plateforme

Le profil recherché

• 15 ans ou plus en ingénierie logicielle, avec de grands systèmes distribués conçus et exploités en production
• Une solide expérience du crawl web ou de travaux proches de la découverte, de l'indexation ou de l'ingestion, y compris la planification distribuée et les services avec état
• À l'aise pour passer de l'architecture à l'implémentation, à l'analyse de performance et au débogage en production
• De l'expérience avec des pipelines batch ou streaming et les questions de cohérence, de retry, de backpressure et de reprise qu'ils soulèvent

Un plus

• Un historique d'amélioration du rendement des données ou de la qualité de traitement à grande échelle

Une semaine type

• Revues d'architecture et travail d'implémentation critique aux côtés des équipes stockage et scalabilité
• Partenariat avec les équipes de parsing et de curation pour préserver le code, les mathématiques et le contenu structuré
• Travail avec les partenaires juridiques, vie privée, sécurité et gouvernance pour transformer les conditions des éditeurs en contrôles auditables
• Instrumentation du pipeline et définition d'objectifs de service pour le débit, la fraîcheur et la fiabilité
• Coordination des dépendances entre équipes et arbitrage entre livraison rapide des données et travail sur la plateforme