الوصف الوظيفي
الشركة: Apna الفريق: منصة البيانات / الهندسة الموقع: بنغالور الخبرة: 5-7 سنوات من الخبرة لماذا Apna في Apna، تعتبر البيانات مركزية في كيفية بناء المنتجات وفهم المستخدمين وتحسين نتائج أصحاب العمل ودعم التوصيات وتوسيع نطاق اتخاذ القرارات.
توفر لك هذه الوظيفة الفرصة لبناء العمود الفقري لمنصة بيانات Apna والتأثير على كيفية استخدام البيانات عبر الشركة.
ستعمل على مشاكل حقيقية وعالية النطاق عبر الوظائف والمستخدمين وأصحاب العمل والمجتمعات والتطابق والنمو والأنظمة المدفوعة بالذكاء الاصطناعي.
حول الدور تبحث Apna عن مهندس بيانات رئيسي / موظف لبناء وتوسيع منصتها الأساسية للبيانات.
ستعمل هذه الوظيفة على خطوط أنابيب البيانات الكبيرة، وهندسة بحيرة البيانات، ومنصات الاستعلام، وتنظيم سير العمل، وأنظمة موثوقية البيانات التي تدعم التحليلات، وذكاء المنتج، وتعلم الآلة، ولوحات المعلومات التجارية، والتجارب، واتخاذ القرارات التشغيلية عبر Apna.
نحن نبحث عن شخص يمكنه التفكير بعمق حول هندسة البيانات، وتصميم خطوط أنابيب موثوقة، وتحسين جودة البيانات، والمساعدة في بناء منصة يمكن أن تتوسع مع نمو Apna.
ما ستتحمل مسؤوليته: ستكون مسؤولاً عن تصميم وبناء وتشغيل الأجزاء الحيوية من منصة بيانات Apna، بما في ذلك: بناء خطوط أنابيب بيانات قابلة للتوسع عبر الاستخدامات المتعلقة بالمنتج والأعمال والنمو وتعلم الآلة.
تصميم وتحسين هندسة بحيرة البيانات لدينا باستخدام تقنيات مثل Apache Hudi.
العمل مع محركات الاستعلام مثل Presto / Trino لأعباء العمل التحليلية الكبيرة.
بناء وصيانة سير العمل التنظيمي باستخدام Apache Airflow.
إنشاء نماذج بيانات قابلة لإعادة الاستخدام، ومجموعات بيانات مُنسقة، وأسواق بيانات موثوقة لفرق التحليل والمنتجات.
تحسين موثوقية منصة البيانات، والرؤية، وتتبع SLA، والنسب، وفحوصات جودة البيانات.
تحسين التخزين والأداء الحاسوبي وأداء الاستعلام وتكاليف خطوط الأنابيب.
الشراكة مع فرق المنتج والتحليل وتعلم الآلة والهندسة الخلفية لفهم احتياجات البيانات وتحويلها إلى حلول منصة قابلة للتوسع.
دفع معايير الهندسة حول نمذجة البيانات، وتطور المخطط، والتقسيم، وإزالة التكرار، والعودة، وإعادة التشغيل، وملكية خطوط الأنابيب.
توجيه مهندسي البيانات والتأثير على قرارات الهندسة عبر الفرق.
ما نبحث عنه يجب أن يكون لديك خبرة قوية في هندسة البيانات، ويفضل أن تكون على نطاق واسع.
خبرة عملية مع Apache Airflow أو أنظمة تنظيم مشابهة.
معرفة قوية بـ Presto / Trino أو محركات الاستعلام الموزعة الأخرى.
فهم جيد لمفاهيم Apache Hudi مثل: النسخ عند الكتابة مقابل الدمج عند القراءة، والتحديثات والحذف، والقراءات التزايدية، والتجميع، والتجميع الزمني، والتزامات المخطط، واستراتيجية التقسيم.
معرفة قوية بأنظمة معالجة وتخزين البيانات الموزعة.
القدرة على تصميم وبناء خطوط أنابيب ETL / ELT موثوقة.
مهارات SQL قوية والقدرة على تصحيح مشكلات البيانات المعقدة.
فهم جيد لمختلف هياكل البيانات، بما في ذلك: مستودع البيانات، بحيرة البيانات، بحيرة البيانات، هندسة لامدا، هندسة كابا، هندسة الميدالية، وهندسة البيانات المدفوعة بالحدث.
خبرة في نمذجة البيانات للتحليلات والتقارير.
مهارات برمجة قوية بلغة واحدة على الأقل مثل Python أو Java أو Scala.
القدرة على التفكير في التوازن بين الحداثة والتكلفة والموثوقية والكمون والتعقيد.
عقلية قوية في تصحيح الأخطاء وملكية الإنتاج.
ما هو جيد أن يكون لديك خبرة مع Kafka وSpark وFlink وHive وIceberg وDelta Lake أو BigQuery.
خبرة في بناء منصات بيانات داخلية أو بنية تحتية للبيانات ذاتية الخدمة.
خبرة في أطر جودة البيانات مثل Great Expectations وDeequ وSoda أو أنظمة التحقق المخصصة.
التعرض لخطوط أنابيب ميزات تعلم الآلة أو مخازن الميزات.
خبرة في إدارة البيانات الوصفية، وكتالوجات البيانات، والنسب، والحوكمة.
خبرة في البنية التحتية السحابية مثل AWS أو GCP أو Azure.
فهم الخصوصية والامتثال ومعالجة المعلومات الشخصية والتحكم في الوصول في أنظمة البيانات.
ما يبدو عليه النجاح في هذا الدور، يعني النجاح: أن مجموعات بيانات الأعمال والمنتجات الحيوية موثوقة وقابلة للاكتشاف وموثوق بها.
أن خطوط الأنابيب قابلة للرؤية، وقابلة للاسترداد، ولها SLAs واضحة.
أن أداء الاستعلام يتحسن عبر أعباء العمل التحليلية الرئيسية.
أن قضايا حداثة البيانات وجودتها تنخفض بشكل كبير.
أن الفرق يمكن أن تبني على منصة البيانات بشكل أسرع دون إعادة اختراع خطوط الأنابيب.
أن المنصة يمكن أن تتوسع مع بيانات المستخدمين والوظائف وأصحاب العمل والمشاركة في Apna.
لقد تمت ترجمة هذا الإعلان الوظيفي بواسطة الذكاء الاصطناعي وقد يحتوي على بعض الاختلافات أو الأخطاء البسيطة.
