مهندس بيانات متقدم - هندسة القيمة وهندسة المكونات COE

الموقع: بنغالور، الهند (هجين)

نظرة عامة على الدور: يقوم مركز التميز VECE في هانيويل ببناء منصة بيانات جاهزة للذكاء الاصطناعي من الجيل التالي لتمكين التحليلات المتقدمة والرؤى التنبؤية وعلوم البيانات على نطاق المؤسسة. كمهندس بيانات أول، ستكون عمودًا تقنيًا أساسيًا في هذه المنصة: تصميم وبناء البنية التحتية للبيانات التي تحول البيانات الخام متعددة المصادر إلى أصول عالية الجودة جاهزة للتحليل.

هذه ليست وظيفة صيانة. ستقوم بتصميم وبناء وامتلاك خطوط بيانات شاملة باستخدام أزور دATABRICKS كمنصة رئيسية، مع اتباع مبادئ هندسة الميدالية، وتقديم بيانات موثوقة للمستهلكين في منصة جوجل السحابية (GCP). ستشكل مباشرة كيفية انتقال منظمة VECE في هانيويل من التحليلات الوصفية التقليدية إلى اتخاذ القرارات الاستباقية المدفوعة بالذكاء الاصطناعي.

ماذا ستبني؟

خطوط بيانات واستيعاب

• تنفيذ خطوط استيعاب شاملة من مصادر غير متجانسة (مثل: سنوفلايك، خادم SQL، إكسل، واجهات برمجة التطبيقات REST، والملفات غير المهيكلة) إلى أزور دATABRICKS وفقًا لنماذج الهندسة المحددة.
• بناء وصيانة طبقات الميدالية البرونزية → الفضية → الذهبية، مع تطبيق منطق التحويل، وقواعد العمل، وفحوصات الجودة في كل مرحلة.
• تنفيذ نمط التحميل التزايدي (مثل: CDC، وضع العلامات، دمج/تحديث بحيرة دلتا) لضمان تسليم بيانات فعال وقابل للتوسع وموثوق.
• تطوير خطوط بيانات للبيانات المهيكلة وغير المهيكلة (مثل: الوثائق، JSON، باركيت، إكسل) لدعم استهلاك الذكاء الاصطناعي والتعلم الآلي في الأسفل.

نموذج البيانات والطبقة الدلالية

• تنفيذ وتوسيع نماذج البيانات (مثل: جداول الحقائق/الأبعاد، أسواق بيانات المجال) وفقًا للتصاميم المحددة من قبل مهندس البيانات الأول وفريق الذكاء الاصطناعي.
• كتابة منطق تحويل PySpark وSQL نظيف، ووحدوي، وقابل لإعادة الاستخدام، قابل للاختبار، موثق، وقابل للنشر عبر CI/CD.
• المساهمة في الطبقة الدلالية التي تدعم لوحات معلومات Power BI والمستهلكين التحليليين المتصلين بـ GCP.
• صيانة وتحسين النماذج الحالية مع تطور متطلبات العمل.

التنسيق وعمليات البيانات

• بناء وإدارة سير العمل في دATABRICKS: تكوين تبعيات المهام، سياسات إعادة المحاولة، وتنبيه الفشل.
• اتباع والمساهمة في ممارسات CI/CD: التحكم في الإصدارات، طلبات السحب، الاختبار الآلي، والنشر إلى بيئات Dev/QA/Prod باستخدام Azure DevOps أو GitHub Actions.
• تعبئة ونشر المنطق القابل لإعادة الاستخدام كمكتبات بايثون وفقًا لمعايير الفريق.
• مراقبة صحة خطوط البيانات، والتحقيق في الفشل، وحل مشكلات البيانات ضمن SLA.

حوكمة البيانات والجودة

• تطبيق قواعد جودة البيانات (مثل: التحقق، إزالة التكرار، فحوصات القيم الفارغة، التسوية) ضمن خطوط البيانات لضمان وصول البيانات في حالة ملائمة للغرض.
• العمل ضمن إطار حوكمة كتالوج الوحدة مع احترام RBAC، هيكل الأسماء، ومعايير الوسم المحددة من قبل قادة المنصة.
• ضمان أن البيانات المرسلة إلى GCP متسقة مع المخطط، ومتحققة، وموثقة.
• الإبلاغ عن مشكلات جودة البيانات وتصعيدها بشكل استباقي وليس تفاعلي.

الوعي المالي

• كتابة PySpark بتكلفة واعية مع تجنب عمليات المسح الكاملة غير الضرورية، وتحسين الانضمامات، واستخدام أنواع المجموعات المناسبة.
• تطبيق أفضل الممارسات لجدول دلتا (مثل: VACUUM، OPTIMIZE، التكتيل) لإدارة تكاليف التخزين.
• اتباع سياسات المجموعة المحددة من قبل قادة المنصة والإبلاغ عن استهلاك الموارد غير المعتاد.

المتطلبات الأساسية

• دATABRICKS: خبرة عملية لا تقل عن سنتين: PySpark، بحيرة دلتا، سير العمل، كتالوج الوحدة.
• إظهار الخبرة في استراتيجية البيانات، على سبيل المثال: هندسة الميدالية، نمذجة بيانات المجال وهندسة البيانات الوظيفية.
• أطر جودة البيانات (مثل: التحقق القائم على القواعد، كشف الشذوذ).
• خطوط البيانات: التحميل التزايدي، CDC، CI/CD، الرصد.
• بايثون/باي سبارك المتقدم وSQL المتقدم.
• يفضل بشدة: DLT، UC، GCP، أزور، كافكا.
• تقدير عالٍ: محترف معتمد من دATABRICKS.

الخبرة

• 4-6+ سنوات من الخبرة العامة في هندسة البيانات.
• سنتان على الأقل من الخبرة العملية في أزور دATABRICKS في بيئات الإنتاج.
• إظهار القدرة على بناء وتقديم خطوط البيانات - وليس مجرد صيانتها أو دعمها.
• الخبرة في العمل ضمن هندسة محددة والمساهمة في تحسينها.
• الراحة في العمل مع أنواع متعددة من مصادر البيانات - العلائقية، المعتمدة على الملفات، واجهة برمجة التطبيقات.

عن هانيويل: تعزز هانيويل الأتمتة الصناعية عمليات صناعة العمليات، وتخلق تقنيات الاستشعار، وتؤتمت سلاسل التوريد، وتحسن سلامة العمال. يركز مركز التميز VECE على تحسين العمليات التشغيلية ودفع النمو المستدام.