تعثر Vikram Koka على تدفق Apache Air في أواخر عام 2019. وكان يعمل في صناعة إنترنت الأشياء والبحث عن حل لتنظيم بيانات المستشعر باستخدام البرامج. يبدو أن تدفق الهواء مناسب تمامًا ، لكن Koka لاحظت الدولة الراكدة في المشروع المفتوح. وهكذا بدأت رحلة للتنفس حياة ثانية في هذا البرنامج المحتضر.
كان تدفق الهواء من بنات أفكار Airbnb. أنشأت الشركة النظام لأتمتة وإدارة سير عملها المتعلق بالبيانات ، مثل تنظيف وتنظيم مجموعات البيانات في مستودع البيانات الخاص بها وحساب المقاييس حول مضيف ومشاركة الضيوف. في عام 2015 ، أصدر Airbnb البرنامج كمصدر مفتوح. بعد ذلك ، بعد أربع سنوات ، انتقل تدفق الهواء إلى مشروع على المستوى الأعلى في مؤسسة Apache Software ، وهو مطور رائد وبرامج Steward of Open Source.
ما كان في السابق مشروعًا مزدهرًا قد توقف ، مع التنزيلات المسطحة ونقص تحديثات الإصدار. تم تقسيم القيادة ، حيث يركز بعض المشرفين على المساعي الأخرى.
ومع ذلك ، آمن كوكا بإمكانات البرنامج. على عكس ملفات التكوين الثابت ، يتبع Airflow مبدأ “التكوين كرمز”. يتم تمثيل مهام سير العمل كرسوم بيانية حقيقية موجهة للمهام – رسم بياني ذو حواف موجهة ولا حلقات. يمكن للمطورين ترميز هذه المهام في لغة برمجة Python ، مما يسمح لهم باستيراد المكتبات والتبعيات الأخرى التي يمكن أن تساعدهم في تحديد المهام بشكل أفضل. على غرار موصل موسيقي ، يقوم Airflow بتنظيم سيمفونية المهام ويدير جدولة وتنفيذ ومراقبة مهام سير العمل.
هذه المرونة هي ما لفت انتباه كوكا. يقول: “لقد وقعت في حب مفهوم خطوط الأنابيب الأولى-الحالات التي يمكن نشرها بالفعل في الكود”. “إن فكرة سير العمل البرمجي بالكامل جذبتني حقًا.”
بدأت Koka العمل في تصحيح سفينة تدفق الهواء. بصفته مساهماً مفتوح المصدر ولديه عقود من الخبرة في مساحة الهندسة والبرامج ، كان متصلاً بأشخاص في المجتمع لإصلاح الحشرات حول الموثوقية وصياغة التحسينات الأخرى. استغرق الأمر سنة ، ولكن تم إصدار Airflow 2.0 في ديسمبر 2020.
نمو تدفق الهواء والتوسع المجتمعي
كان الإصدار بمثابة نقطة تحول حاسمة للمشروع. زادت التنزيلات من مستودع GitHub ، واعتمدت المزيد من المؤسسات البرنامج. بتشجيع من هذا النمو ، تصور الفريق الجيل القادم من تدفق الهواء: بنية معيارية ، وواجهة مستخدم أكثر حداثة ، وميزة “تشغيل في أي مكان ، في أي وقت” ، تمكينها من العمل في المبنى ، في السحابة ، أو على الأجهزة الحافة والتعامل مع سيناريوهات محركتها الحدث والمخصصة بالإضافة إلى الإضافة إلى المهام المجدولة. قام الفريق بتسليم هذه الرؤية مع إطلاق Airflow 3.0 في أبريل الماضي.
يقول جاركيك بوتيوك ، أحد أهم المساهمين في تدفق الهواء والآن عضو في لجنة إدارة المشاريع: “كان من المدهش أننا تمكنا من” إعادة بناء الطائرة أثناء الطيران “عندما عملنا على Airflow 3-حتى لو كان لدينا بعض المشكلات المؤقتة والمواطن المؤقتة”. “اضطررنا إلى إعادة صياغة ونقل الكثير من أجزاء البرنامج مع الحفاظ على تشغيل Airflow 2 وتوفير بعض إصلاحات الأخطاء لها.”
بالمقارنة مع الإصدار الثاني من Airflow ، الذي يقول Koka إنه لم يكن لديه سوى بضع مئات إلى ألف تنزيل شهريًا على Github ، “الآن نحن في المتوسط ما بين 35 إلى 40 مليون تنزيل في الشهر”. ارتفع مجتمع المشروع أيضًا ، حيث ساهم أكثر من 3000 مطور من جميع مستويات المهارات من جميع أنحاء العالم في تدفق الهواء.
Jens Scheffler هو جزء نشط من هذا المجتمع. بصفته مهندسًا تقنيًا لأتمتة الاختبار الرقمي في بوش ، كان فريقه أحد أوائل المتبنين لتدفق الهواء ، باستخدام البرنامج لتنظيم اختبارات أنظمة القيادة الآلية للشركة.
كان شيفلر مستوحى من انفتاح واستجابة أعضاء تدفق الهواء لطلباته للحصول على التوجيه والدعم ، لذلك فكر في “إعادة شيء للمجتمع – مساهمة في الكود”. قدم بعض التصحيحات في البداية ، ثم قام بتنفيذ فكرة عن ميزة من شأنها أن تستفيد من فريقه فحسب ، بل مستخدمي تدفق الهواء الآخرون أيضًا. اكتشف شيفلر أيضًا إدارات أخرى داخل بوش توظف تدفق الهواء ، لذلك شكلوا مجتمعًا صغيرًا في المنزل “حتى نتمكن من تبادل المعرفة والبقاء على اتصال”.
يلاحظ Koka ، وهو أيضًا عضو في لجنة إدارة المشاريع في Airflow وكبير مسؤولي الاستراتيجية في فلك منصة عمليات البيانات ، أن إدارة مجموعة ضخمة من المساهمين أمر صعب ، لكن رعاية تلك الشبكة ضرورية مثل تحسين البرنامج. أنشأ فريق تدفق الهواء نظامًا يمكّن المطورين من المساهمة تدريجياً ، بدءًا من الوثائق ثم التقدم إلى المشكلات الصغيرة وإصلاحات الأخطاء قبل معالجة الميزات الأكبر. يجعل الفريق أيضًا نقطة للاستجابة بسرعة وتقديم ملاحظات بناءة.
“بالنسبة للكثيرين منا في المجتمع ، [Airflow] هو طفل متبنى. يقول كوكا: “لم يكن أي منا المبدعين الأصليين ، لكننا نريد أن يشعر المزيد من الأشخاص أنهم تبنوه أيضًا. نحن في منظمات مختلفة ، في بلدان مختلفة ، نتحدث لغات مختلفة ، لكننا ما زلنا قادرين على التوصل إلى مهمة معينة. أحب أن أكون قادرًا على فعل ذلك “.
يخطط فريق تدفق الهواء بالفعل لميزات المستقبل. يتضمن ذلك أدوات لكتابة المهام في لغات البرمجة بخلاف Python ، وقدرات الإنسان في الحدود لمراجعة المهام والموافقة عليها في بعض نقاط التفتيش ، ودعم الذكاء الاصطناعي (AI) وسير عمل التعلم الآلي. وفقًا لمسح Airflow 2024 ، فإن البرنامج لديه عدد متزايد من حالات الاستخدام في عمليات التعلم الآلي (MLOPS) و AI التوليدي.
“نحن في لحظة محورية حيث تعتبر أعباء عمل AI و ML أهم الأشياء في صناعة تكنولوجيا المعلومات ، وهناك حاجة كبيرة لجعل جميع أعباء العمل هذه-من التدريب إلى الاستدلال والمعالجة الوظيفية-موثوق بها ، قابلة للتطوير ، ولديها أساسًا صخريًا يمكن تشغيله”. “أرى تدفق الهواء مثل هذا الأساس.”
من مقالات موقعك
المقالات ذات الصلة حول الويب