اس مضمون کے مرکزی مندرجہ ذیل ہیں:

• وپشپ کے ریئل ٹائم پلیٹ فارم کی حیثیت
• ویپ شاپ میں پلٹائیں کا عمل
• K8S پر پلٹائیں
• فالو اپ پلاننگ

1. وپشپ کے ریئل ٹائم پلیٹ فارم کی موجودہ حیثیت فی الحال ، وپشپ کا ریئل ٹائم پلیٹ فارم ایک متحدہ کمپیوٹنگ فریم ورک نہیں ہے ، بلکہ طوفان ، چنگاری اور پلکیں مارنے سمیت تین اہم کمپیوٹنگ فریم ورک ہیں۔ تاریخی وجوہات کی بناء پر ، طوفان کے پلیٹ فارم پر موجودہ نوکریوں کی تعداد سب سے زیادہ ہے ، لیکن پچھلے سال کے بعد سے ، کاروبار کی توجہ آہستہ آہستہ فلنک کی طرف بڑھ گئی ہے ، لہذا اس سال فلنک پر درخواستوں کی تعداد میں نمایاں اضافہ ہوا ہے۔

ریئل ٹائم پلیٹ فارم کا بنیادی کاروبار آٹھ بڑے حصوں پر مشتمل ہے: اصل وقت کی سفارش ، ای کامرس کے کلیدی کاروبار کے طور پر ، متعدد ریئل ٹائم خصوصیات پر مشتمل ہے big بڑی ترویج کنب ، جس میں شماریاتی اشارے کی مختلف جہتیں ہیں (مثال کے طور پر: مختلف طول و عرض کے احکامات ، یووی ، تبادلوں کی شرح ، چمک وغیرہ) قیادت ، کام ، اور مصنوع کے فیصلے سازی کے لئے؛ اصلی وقت سے ڈیٹا کی صفائی ، صارف کے دفن شدہ مقامات سے ڈیٹا اکٹھا کرنا ، ریئل ٹائم کی صفائی اور ارتباط کا مظاہرہ کرنا ، اور مختلف بہاو والے کاروبار کو بہتر ڈیٹا فراہم کرنا addition اس کے علاوہ ، انٹرنیٹ فنانس اور سیکیورٹی کے خطرات بھی ہیں۔ کنٹرول ، دوستوں اور دوسرے کاروبار کے ساتھ قیمتوں کا موازنہ کریں ، نیز لاگ ویو ، مرکری ، ٹائٹن اندرونی سروس مانیٹرنگ سسٹم ، وی ڈی آر سی ریئل ٹائم ڈیٹا سنکرونائزیشن سسٹم وغیرہ کے ساتھ۔

ریئل ٹائم پلیٹ فارم کی ذمہ داریوں میں بنیادی طور پر ریئل ٹائم کمپیوٹنگ پلیٹ فارم اور اصل وقت کا بنیادی ڈیٹا شامل ہوتا ہے۔ ریئل ٹائم کمپیوٹنگ پلیٹ فارم کمپیوٹنگ فریم ورکس جیسے طوفان ، چنگاری ، پلٹائیں ، وغیرہ پر مبنی ہے ، جو نگرانی اور استحکام کی ضمانت فراہم کرتا ہے ، اور کاروباری ترقی کے لئے ڈیٹا ان پٹ اور آؤٹ پٹ مہیا کرتا ہے۔ ریئل ٹائم بنیادی اعداد و شمار میں اپ اسٹریم دفن پوائنٹس کی تعریف اور معیاری کاری ، صارف کے رویے کے ڈیٹا کی صفائی اور وسیع کرنا ، ایس کیو ایل بائنلوگ لاگز اور دیگر ڈیٹا شامل ہیں اور بہاو کیلئے کوالٹی اشورینس ڈیٹا فراہم کرتا ہے۔

فن تعمیر کے ڈیزائن میں ، اس میں ڈیٹا کے دو بڑے ذرائع شامل ہیں۔ ایک ایپ ، وی چیٹ ، ایچ 5 اور دیگر ایپلی کیشنز پر ایمبیڈڈ پوائنٹ ڈیٹا ہے ، اور اصل ڈیٹا اکٹھا کرکے کافکا کو بھیجا گیا ہے other دوسرا آن لائن ریئل ٹائم ڈیٹا کا مائی ایس کیو ایل بنلگ لاگ ہے۔ ڈیٹا کو صاف اور کمپیوٹنگ فریم ورک میں وابستہ کیا گیا ہے ، اور اصل اعداد و شمار کو ریئل ٹائم ای ٹی ایل کے ذریعے بہاو کاروباری ایپلی کیشنز (بشمول آف لائن وسیع ٹیبلز وغیرہ) کے لئے استعمال میں آسان ڈیٹا فراہم کیا گیا ہے۔

ویپ شاپ 1 میں پلٹائیں کا عملی منظر: ڈیٹاائ ریئل ٹائم بورڈ

ڈیٹائی ریئل ٹائم کنبن تمام دفنڈ پوائنٹ ڈیٹا ، آرڈر والے ڈیٹا وغیرہ کے ریئل ٹائم حساب کی حمایت کرنا ہے۔ اس میں اعداد و شمار کی بڑی مقدار موجود ہے ، اور بہت ساری جہتیں ہیں جن کو گننے کی ضرورت ہے ، جیسے کل اسٹیشن ، سیکنڈری پلیٹ فارم ، سیکشن ، شیڈول اور ہجوم ، سرگرمیاں ، وقت کے طول و عرض ، وغیرہ ، جو حساب کتاب کی پیچیدگی کو بڑھاتے ہیں۔ اعداد و شمار کے اعداد و شمار کے آؤٹ پٹ اشارے سیکنڈ میں ہزاروں تک پہنچ سکتے ہیں۔

مثال کے طور پر یووی کے حساب کتاب لیتے ہوئے ، کافکا میں دفن شدہ نقطہ اعداد و شمار کو پہلے صاف کیا جاتا ہے ، اور پھر اس کا تعلق ریڈیس اعداد و شمار سے ہوتا ہے ، اور اس سے وابستہ ڈیٹا کافکا کو لکھا جاتا ہے subse بعد میں فلنک کمپیوٹنگ کے کام کافکا سے وابستہ ڈیٹا کا استعمال کرتے ہیں۔ عام طور پر کاموں کے حساب کتاب کے نتائج کی مقدار بھی بہت بڑی ہوتی ہے (حساب کتاب کے طول و عرض اور اشارے کی بڑی تعداد کی وجہ سے ، جو دسیوں لاکھوں تک پہنچ سکتی ہے) ، ڈیٹا آؤٹ پٹ کافکا کے ذریعہ بھی بفر ہوتا ہے ، اور آخر کار ڈیٹا ڈسپلے کے بطور ہم وقت سازی کے کاموں کا استعمال کرتے ہوئے ایچ بیس میں ہم آہنگ ہوتا ہے۔ ہم وقت سازی کا کام HBase پر لکھے گئے ڈیٹا کی موجودہ حد اور HBase کو بچانے کے ل protect ایک ہی قسم کے اشارے کو یکجا کرتا ہے۔ ایک ہی وقت میں ، تباہی کی بازیابی کے لئے ایک اور کمپیوٹنگ حل ہے۔

جب طوفان والے کمپیوٹنگ انجن میں کمپیوٹنگ کرتے ہیں تو ، ریڈیس کو انٹرمیڈیٹ ریاست کے اسٹوریج کے طور پر استعمال کرنے کی ضرورت ہوتی ہے ۔فلنک پر سوئچ کرنے کے بعد ، فلنک کا اپنا اسٹیٹ اسٹوریج ہوتا ہے ، جس سے اسٹوریج کی جگہ بچ جاتی ہے because کیوں کہ ریڈیس تک رسائی کی ضرورت نہیں ہے ، کارکردگی اور مجموعی وسائل میں بھی بہتری لائی گئی ہے۔ کھپت اصل کے 1/3 رہ گئی ہے۔

طوفان سے فلنک میں کمپیوٹنگ کے کاموں کو آہستہ آہستہ منتقل کرنے کے عمل میں ، دو طرفہ حل یکے بعد دیگرے ہجرت کی گئی ، اور کمپیوٹنگ ٹاسکس اور ہم آہنگی کے کاموں کو ایک ہی وقت میں الگ کردیا گیا ، جس نے HBase میں ڈیٹا لکھنے کا دباؤ کم کیا۔

پلٹائیں میں تبدیل کرنے کے بعد ، کچھ امور کو ٹریک کرنے اور ان میں بہتری لانے کی ضرورت ہے۔ فلنک کفکاکنسمر کے لئے ، کاروباری وجوہات کی بناء پر کافکا میں آٹو کمٹٹ میں ترمیم کرنے اور آفسیٹ طے کرنے کے ل you ، آپ کو کافکا کلسٹر سوئچنگ کی معاونت کی تقریب کو نافذ کرنے کی ضرورت ہے۔ بغیر ونڈو کے ریاستی ڈیٹا کو دستی طور پر صاف کرنے کی ضرورت ہے۔ کمپیوٹنگ فریم ورک کے ساتھ ایک مشترکہ مسئلہ بھی ہے۔ ڈیٹا اسکیو مسئلے پر بھی توجہ دینے کی ضرورت ہے۔ ایک ہی وقت میں ، ہم وقت سازی ٹاسک سے باخبر رہنے کی دشواری کے ل St ، طوفان ریڈیس سے قیمت حاصل کرسکتا ہے ، اور پلٹنا صرف انتظار کرسکتا ہے۔

منظر 2: ایچ ڈی ایف ایس پر لینڈنگ کافکا ڈیٹا

پہلے ، اس کو سپارک اسٹریمنگ کے ذریعے حاصل کیا جاتا تھا ، اور اب یہ آہستہ آہستہ پلٹائیں میں تبدیل ہوتا جارہا ہے ، اور دفن شدہ پوائنٹ کا ڈیٹا آرک بکٹنگٹیبل سنک کے ذریعہ ایچ ڈی ایف ایس پر ہائیو ٹیبل میں داخل ہوتا ہے۔ فلنک پروسیسنگ میں ، ایک ٹاسک رائٹ تقریبا 3.53.5K / s تک پہنچ سکتا ہے ۔فلنک استعمال کرنے کے بعد ، وسائل کی کھپت میں 90٪ کمی واقع ہوتی ہے ، اور 30s کی تاخیر 3s سے کم رہ جاتی ہے۔ فی الحال ، فلنک سپارک بالٹی ٹیبل کی حمایت کرتا ہے۔

منظر 3: ریئل ٹائم ای ٹی ایل

ای ٹی ایل پروسیسنگ کے ل a ، ایک تکلیف دہ نقطہ یہ ہے کہ لغت کی میز کو ایچ ڈی ایف ایس میں ذخیرہ کیا جاتا ہے اور مسلسل تبدیل ہوتا رہتا ہے ، جبکہ اصل وقت کے ڈیٹا اسٹریم کو لغت ٹیبل کے ساتھ شامل کرنے کی ضرورت ہوتی ہے۔ لغت ٹیبل کی تبدیلی آف لائن بیچ پروسیسنگ ٹاسک کی وجہ سے ہوئی ہے۔ موجودہ عمل یہ ہے کہ ایچ ڈی ایف ایس ڈیٹا کی تبدیلیوں کو باقاعدگی سے مانیٹر کرنے ، مستقل طور پر نئے ڈیٹا کو فلش کرنے اور تازہ ترین اعداد و شمار کو ریئل ٹائم ڈیٹا میں شامل ہونے کے ل Contin مستقل طور پر فائنل مانیٹرنگفنکشن اور کونٹینیوس فائل ریڈر آپریٹر استعمال کریں۔

ہم Hive ٹیبلز اور اسٹریمز کی شمولیت کی حمایت کرنے کے لئے ایک اور عمومی طریقہ کرنے کا ارادہ رکھتے ہیں تاکہ Hive ٹیبل ڈیٹا میں تبدیلی کے بعد خود کار طریقے سے ڈیٹا پش کے اثر کو محسوس کیا جاسکے۔

تین ، K8S پر پلٹائیں

ویپشپ میں متعدد مختلف کمپیوٹنگ فریم ورکس موجود ہیں ، جن میں ریئل ٹائم کمپیوٹنگ ، مشین لرننگ ، اور آف لائن کمپیوٹنگ شامل ہیں۔ لہذا ، نظم و نسق کے لئے ایک متحد بنیادی فریم ورک کی ضرورت ہے لہذا ، فلنک K8S میں منتقل ہو گیا ہے۔

سسکو کے نیٹ ورک کے اجزاء K8S پر استعمال ہوتے ہیں ، اور ہر ڈوکر کنٹینر میں ایک آزاد IP ہوتا ہے ، جو بیرونی دنیا کو بھی دکھائی دیتا ہے۔ ریئل ٹائم پلیٹ فارم کے فیوژن ڈیوائس کا مجموعی فن تعمیر ذیل کے اعداد و شمار میں دکھایا گیا ہے۔

K8S پر Vipshop کا نفاذ کا منصوبہ ابھی تک پلٹائیں برادری کے فراہم کردہ منصوبے سے بہت مختلف ہے۔ وپشپ K8S اسٹیٹفل سیٹ موڈ کا استعمال کرتے ہیں اور اندرونی طور پر کچھ کلسٹر سے وابستہ انٹرفیس نافذ کرتے ہیں۔ ایک کام منی کلسٹر سے مماثل ہے اور HA کو سپورٹ کرتا ہے۔ فلنک کے لئے ، اسٹیٹ فل سیٹ کو استعمال کرنے کی سب سے بڑی وجہ یہ ہے کہ پوڈ کے میزبان ناموں کا آرڈر دیا گیا ہے؛ اس کے ممکنہ فوائد یہ ہیں:

1. -0 اور -1 کے میزبان ناموں والے پوڈوں کو براہ راست نوکری مینجر کے طور پر نامزد کیا جاسکتا ہے؛ ایک کلسٹر شروع کرنے کے لئے ایک اسٹیٹ فالسیٹ استعمال کیا جاسکتا ہے ، اور تعیناتی بھی دو ہونی چاہئے Job جاب مینیجر اور ٹاسک مینجر آزاد تعیناتی ہیں۔

2. پود کے مختلف وجوہات کی بنا پر ناکام ہونے کے بعد ، چونکہ پوڈ کا میزبان نام اسٹیٹفل سیٹ کے ذریعہ دوبارہ کھینچا گیا ہے ، لہذا کلسٹر کی بازیابی کی رفتار نظریاتی طور پر تعیناتی سے زیادہ تیز ہوسکتی ہے (میزبان کا نام ہر تعیناتی کے لئے بے ترتیب ہے)۔

ماحول کی متغیر کی ترتیبات کی وضاحت جسے عکس بند ہونے والے ڈکر انٹری پوائنٹ پوائنٹ میں ترتیب دینے کی ضرورت ہے۔

ایچ ڈی ایف ایس جیسی دیگر کنفیگریشنوں کے مطابق جس پر فلک کلسٹر انحصار کرتا ہے ، اس کا انتظام اور تشکیل ایک کنفرمیپ بنا کر کیا جاتا ہے۔

kubectl تشکیل تشکیل hdfs-conf --from-file = hdfs-site.xml --from-file = core-site.xml

چار ، عمل کی پیروی کریں

موجودہ ریئل ٹائم سسٹمز اور مشین لرننگ پلیٹ فارمز میں ، پراسیس کیے جانے والے ڈیٹا کو مختلف ڈیٹا اسٹوریج اجزاء ، جیسے کافکا ، ریڈیس ، ٹائر ، اور ایچ ڈی ایف ایس میں تقسیم کیا گیا ہے۔ ان اعداد و شمار کو آسانی سے اور موثر انداز میں بانٹنا ، ان پر کارروائی کرنا اور ان کا اشتراک کرنا ایک بہت بڑا چیلنج ہے۔ اعداد و شمار تک رسائی اور تجزیہ میں اکثر بہت کوشش کی ضرورت ہوتی ہے۔ درد کے اہم نکات میں شامل ہیں:

کافکا ، ریڈیس ، اور طائر میں بائنری (پی بی / ایورو فارمیٹ) ڈیٹا کے ل users ، صارفین اعداد و شمار کے اسکیما اور ڈیٹا کے مواد کو جلدی اور براہ راست نہیں سمجھ سکتے ہیں ، اور مصنف سے ڈیٹا مواد جمع کرنے اور بات چیت کرنے کی لاگت بہت زیادہ ہے۔

آزاد متحد ڈیٹا سسٹم کی خدمات کی عدم دستیابی کی وجہ سے ، کافکا ، ریڈیس ، ٹائر ، وغیرہ میں بائنری ڈیٹا تک رسائی کو مصنف کی فراہم کردہ معلومات پر انحصار کرنے کی ضرورت ہے ، جیسے پروٹو جنریشن کلاسز ، ڈیٹا فارمیٹ وکی تعریفیں ، وغیرہ ، جو برقرار رکھنے اور غلطی کا شکار ہیں۔

رشتہ دارانہ اسکیمہ کی عدم فراہمی صارفین کے لئے زیادہ موثر اور استعمال میں آسان ایس کیو ایل یا لن کی پرت API کی بنیاد پر کاروبار کو براہ راست تیار کرنا ناممکن بنا دیتا ہے۔

آزاد خدمت کے ذریعہ ڈیٹا کو آسانی سے شائع کرنا اور شیئر کرنا ممکن نہیں ہے۔

اصل وقت کا ڈیٹا براہ راست بیچ ایس کیو ایل انجن کو فراہم نہیں کیا جاسکتا۔

اس کے علاوہ ، بیشتر موجودہ ڈیٹا وسائل تک رسائی میں آڈٹ ، حقوق کا نظم و نسق ، رسائی کی نگرانی اور ٹریکنگ جیسی خصوصیات کا فقدان ہے۔

یو ڈی ایم (یونیفائیڈ ڈیٹا مینجمنٹ سسٹم) میں ماڈیولز جیسے لوکیشن مینیجر ، سکیما میٹاسٹور اور کلائنٹ پراکسی شامل ہیں۔ اہم کاموں میں شامل ہیں:

1. نام سے پتے تک نقشہ سازی کی خدمت فراہم کریں ، صارف مخصوص پتہ کے بجائے خلاصہ نام کے ذریعے ڈیٹا تک رسائی حاصل کرتے ہیں۔

2. صارف آسانی سے ڈیٹا اسکیمہ دیکھ سکتے ہیں اور ویب جی یو آئی انٹرفیس کے ذریعہ ڈیٹا کا مواد دریافت کرسکتے ہیں۔

additional. اضافی کام جیسے آڈیٹنگ ، نگرانی ، اور سراغ رساں کرنے کی حمایت کرتے ہوئے کلائنٹ API پراکسی فراہم کریں۔

Sp. اسپارک / پلکیں / طوفان کے فریم ورک میں ، ان اعداد و شمار کے ذرائع کا پیکیج انتہائی مناسب شکل میں فراہم کریں۔

UDM کا مجموعی فن تعمیر مندرجہ ذیل اعداد و شمار میں دکھایا گیا ہے۔

UDM صارفین میں ریئل ٹائم ، مشین لرننگ ، اور آف لائن پلیٹ فارم میں ڈیٹا کے پروڈیوسر اور صارف شامل ہیں۔ جب SQL API یا ٹیبل API کا استعمال کرتے ہو تو پہلے اسکیما رجسٹریشن مکمل کریں ، اور پھر ترقی کے لئے SQL کا استعمال کریں ، جس سے ترقیاتی کوڈ کی مقدار کم ہوجاتی ہے۔

UDM کے اندرونی عمل کو واضح کرنے کے لئے کافکا PB ڈیٹا تک رسائی حاصل کرنے کے لئے اسپارک کے تسلسل آریھ کا استعمال کریں

فلنک میں ، UDMExternTVGlink فلپ کمپیوٹنگ فریم ورک اور UDM کے مابین پل کو کھولنے کے لئے استعمال کیا جاتا ہے۔ بیرونی چِلگالگ کے مختلف انٹرفیس اور اپنے متعلقہ ڈیٹا سورس کے ٹیبل سورس فیکٹری کو نافذ کرنے سے ، اسکیما اور رسائ کنٹرول جیسے مختلف کام مکمل ہوجاتے ہیں۔