Kestra عبارة عن منصة مفتوحة المصدر لتنسيق البيانات لسير العمل المعقد

تعرف على Kestra، وهي شركة ناشئة تعمل على مشروع مفتوح المصدر يركز على تنسيق البيانات عبر العديد من الخدمات وقواعد البيانات والملفات والمستودعات. لقد اجتذب المشروع مفتوح المصدر آلاف النجوم على GitHub، مما يثبت أن هناك بعض الاهتمام والإمكانات وراء منصة جديدة لتنسيق البيانات.

لكن أولاً، لماذا تحتاج إلى منتج لتنسيق البيانات في شركتك الكبيرة؟ في مرحلة ما، تبدأ الشركات الكبرى في نشر البيانات عبر عدة مواقع تخزين. يمكن تخزين بعض بيانات العميل في نظام تخطيط موارد المؤسسات (ERP) القديم، وقد تظهر الطلبات الجديدة في قاعدة بيانات في البنية الأساسية السحابية لديك، وما إلى ذلك.

باستخدام منسق البيانات، يمكنك استخراج البيانات وتحويلها وتحميلها (أو استخراج البيانات وتحميلها وتحويلها) بحيث يتم توحيد جميع بياناتك وتخزينها في مكان واحد، مثل مستودع البيانات (Snowflake، Google BigQuery، وما إلى ذلك). . يستخدم العديد من مهندسي البيانات أدوات مثل Airbyte كمنصة لتكامل البيانات الخاصة بهم ومنسق للتنسيق وإنشاء المشغلات.

أفضل طريقة لوصف كيسترا هي من خلال تحديد سبب اختلافها عما هو موجود هناك. إذا كنت معتادًا على Apache Airflow، فيمكن استخدام Kestra كبديل لـ Airflow مع بعض الاختلافات الرئيسية.

بدلاً من استخدام كود Python، يعتمد Kestra على ملفات تكوين YAML – وإذا كنت قد لعبت مع صور Docker في مرحلة ما، فقد تكون على دراية بـ YAML بالفعل.

يتم التعامل مع واجهة برمجة تطبيقات Ketra كمواطن من الدرجة الأولى، مما يعني أنها تتكامل بشكل جيد مع الأدوات والأنظمة الأخرى. بمعنى آخر، تم تصميم Kestra لتكون غير محددة للغة بفضل استخدام YAML للتنسيق والقدرة على تغيير سير العمل وإنشاء المهام باستخدام واجهة برمجة تطبيقات Kestra.

والسبب وراء قيام Kestra بإحضار نموذج البنية التحتية كرمز إلى تنسيق البيانات هو أن الشركة الناشئة تعتقد أنه يجب التعامل مع إدارة البيانات من قبل جميع المهندسين ومستخدمي الأعمال بدلاً من فريق محدد من مهندسي البيانات.

علاوة على هذا النهج الراسخ، تمتلك Kestra مكتبة قوية من عمليات التكامل مع المكونات الإضافية الرسمية لمقدمي الخدمات السحابية الرئيسيين (AWS وAzure وGoogle Cloud)، ومستودعات البيانات (Snowflake وBigQuery)، وdbt لتحويل البيانات، وAirbyte لتكامل البيانات، والمزيد. .

لدى Kestra أيضًا واجهة مستخدم تجعل من السهل إنشاء مهام سير عمل مجدولة ومعتمدة على الأحداث (“إذا حدث هذا، فافعل ذلك”). باستخدام واجهة المستخدم هذه، يمكن لمستخدمي الأعمال أيضًا الاعتماد على Kestra لإنشاء استعلامات SQL وإنشاء أدوات داخلية لإعداد التقارير الداخلية.

في الأصل من فرنسا وشارك في تأسيسها إيمانويل داراس ولودوفيك ديهون، جمعت Kestra 3 ملايين دولار في جولة تأسيسية شارك في قيادتها ISAI وAxeleo Capital. شارك أيضًا في الجولة العديد من المستثمرين الملائكيين، مثل أوليفييه بوميل من Datadog، وستان كريستيانز من Collibra، وبيير بورغي من Strapi، وأوليفييه بونيت من BlaBlaCar.

بالإضافة إلى المنسق مفتوح المصدر، لدى Kestra أيضًا إصدار مؤسسي والعديد من العملاء الكبار الذين يعتمدون على Kestra للتعامل مع ملايين أحداث التنسيق شهريًا، مثل Leroy Merlin وHuawei وAcxiom وTencent وGorgias وSophia Genetics وDecathlon.

الهدف النهائي لـ Kestra هو إنشاء أداة تنسيق يمكن استخدامها لجميع احتياجات التنسيق – وليس فقط تنسيق البيانات. تنتهي العديد من الشركات بإنشاء فرق محددة متخصصة في تنسيق البيانات وتنسيق الخدمات الصغيرة والبنية التحتية والمزيد. تريد Kestra إنشاء منصة واحدة يمكن استخدامها بطريقة متعددة الاستخدامات من قبل كل من يعمل في هذه المهام.