تركز هذه الوظيفة على تصميم وبناء بنية تحتية قابلة للتوسع للبيانات لدعم الأنظمة الذاتية المتقدمة. تتحمل هذه الوظيفة مسؤولية تحويل بيانات المستشعرات المتعددة الكبيرة إلى مجموعات بيانات منظمة عالية الجودة جاهزة للمعالجة اللاحقة وعمليات التعلم الآلي.

يتضمن العمل إنشاء أنظمة أساسية وقرارات معمارية تدعم قابلية التوسع على المدى الطويل، بما في ذلك كيفية تسجيل البيانات، واستيعابها، وتخزينها، وإصدارها، ووضع العلامات عليها، وتقديمها. يتعامل البيئة مع مئات التيرابايت من البيانات الناتجة عن LiDAR، والكاميرات، وIMU، وGPS، والرادار عبر منصات متعددة.

• خط أنابيب تسجيل البيانات على المركبة
  تصميم وإدارة أنظمة تسجيل عالية الإنتاجية، بما في ذلك اختيار الموضوعات، وخطوط الكتابة متعددة جيجابايت/ثانية، وصيغ البيانات الفعالة (MCAP/rosbag2). الإشراف على التخزين على المنصة وضمان نقل البيانات بشكل موثوق إلى بيئات السحابة مع فحوصات السلامة. ضمان دقة الطوابع الزمنية والتزامن عبر البيانات المسجلة.

  
  
  

• معمارية بحيرة البيانات
  تصميم وصيانة حلول تخزين قابلة للتوسع عبر S3 وFSx/Lustre وGCS. تحديد تنظيم البيانات، والتوزيع الإقليمي، واستراتيجيات التخزين المؤقت، وسياسات الاحتفاظ، وسلسلة البيانات، وتحسين التكاليف.

  
  
  

• تطوير خط أنابيب مجموعة البيانات
  بناء خطوط أنابيب تحول بيانات المستشعر الخام إلى مجموعات بيانات منظمة جاهزة للتدريب. ضمان التوافق الزمني الدقيق عبر الأنماط، بما في ذلك وضعية الذات، وبيانات المعايرة، ووضع العلامات على السيناريو.

  
  
  

• إدارة الإصدارات ومجموعات البيانات
  تنفيذ عمليات إصدار واكتشاف مجموعات البيانات بشكل موثوق. تقييم ونشر أدوات مثل DVC وLakeFS وDeep Lake وFiftyOne، مع ضمان أن تكون مجموعات البيانات قابلة للتكرار، وقابلة للتتبع، وسهلة الوصول.

  
  
  

• تصميم تنسيق مجموعة البيانات
  المساهمة في تحديد تنسيقات مجموعات البيانات الفعالة على القرص، مع التركيز على أداء الكتابة وتحسين الإدخال/الإخراج لأحمال التدريب الكبيرة.

  
  
  

• عمليات التعليق
  تطوير وإدارة خطوط أنابيب التعليق، بما في ذلك تحديد تنسيقات تسليم البائعين، واستيعاب البيانات المعلّمة، وإجراء مراقبة الجودة، والتعامل مع تطور المخطط، ودعم تحسينات مجموعة البيانات بشكل تكراري.

  
  
  
  
  

• 5+ سنوات من الخبرة في بناء بنية تحتية للبيانات من الدرجة الإنتاجية، ويفضل أن تتضمن بيانات متعددة الأنماط أو بيانات مستشعر كبيرة (مثل الروبوتات، الأنظمة الذاتية، الجغرافيا، أو المجالات العلمية)
• إجادة قوية في بايثون، مع القدرة على العمل مع C++ لأدوات ROS2 وخطوط الأنابيب ذات الصلة
• خبرة عملية مع تخزين السحابة والأنظمة الموزعة (S3 وGCS وFSx وLustre)، بما في ذلك تحسين الأداء والتكاليف
• خبرة في إصدار مجموعات البيانات وأدوات بيانات التعلم الآلي مثل DVC وLakeFS وDeep Lake وFiftyOne أو منصات مشابهة

• خلفية في الأنظمة الذاتية أو المنصات المتنقلة، وخاصة في البيئات المعقدة أو غير المنظمة
• خبرة في العمل مع عمليات التعليق الكبيرة ومزودي التسمية الخارجيين
• الإلمام بأساليب التدريب الموزعة (مثل DDP وFSDP) لدعم التعاون الفعال مع بنية التعلم الآلي