بدأ انقطاع AWS الضخم يوم الاثنين والذي أدى إلى تعطيل بعض التطبيقات والخدمات الأكثر شعبية في العالم بخلل.
قالت الشركة يوم الخميس في تقييم ما بعد الوفاة إن الخطأ – الذي حدث عندما كان نظامان آليان يحاولان تحديث نفس البيانات في وقت واحد – تفاقم ليصبح شيئًا أكثر خطورة بشكل ملحوظ، وسارع مهندسو أمازون إلى إصلاحه.
ويعني الانقطاع الهائل للخدمة السحابية أن الأشخاص لم يتمكنوا من طلب الطعام، أو التواصل مع شبكات المستشفيات، أو الوصول إلى الخدمات المصرفية عبر الهاتف المحمول، أو الاتصال بأنظمة الأمان والأجهزة المنزلية الذكية الخاصة بهم. ولم تتمكن الشركات العالمية الكبرى، بما في ذلك Netflix وStarbucks وUnited Airlines، مؤقتًا من منح العملاء إمكانية الوصول إلى خدماتها عبر الإنترنت.
وقالت أمازون في بيان على موقع AWS الإلكتروني: “نعتذر عن التأثير الذي سببه هذا الحدث لعملائنا”. “نحن نعلم أن هذا الحدث أثر على العديد من العملاء بطرق مهمة. سنبذل كل ما في وسعنا للتعلم من هذا الحدث واستخدامه لتحسين توفرنا بشكل أكبر
وعلى مستوى عالٍ، كانت المشكلة ناجمة عن تنافس برنامجين لكتابة نفس إدخال نظام أسماء النطاقات (DNS) ــ وهو في الأساس سجل في دليل هاتف الإنترنت ــ في نفس الوقت، مما أدى إلى إدخال فارغ. أدى ذلك إلى وضع العديد من خدمات AWS في حالة من الفوضى.
وقالت أنجيليك ميدينا، رئيسة خدمة مراقبة شبكة ذكاء الإنترنت ThousandEyes Internet Intelligence من سيسكو، لشبكة CNN: “إن تشبيه دليل الهاتف مناسب جدًا لأن الأشخاص الموجودين على الخط الآخر موجودون هناك، ولكن إذا كنت لا تعرف كيفية الوصول إليهم، فستواجه مشكلة”. “ولقد اختفى دليل الهاتف هذا بشكل فعال”.
استخدم إندرانيل جوبتا، أستاذ الهندسة الكهربائية وهندسة الحوسبة في جامعة إلينوي، تشبيهًا بالفصل الدراسي لشرح التحليل الفني لشركة أمازون في رسالة بريد إلكتروني إلى CNN. لنفترض أن طالبين، أحدهما يعمل بسرعة، والآخر يعمل ببطء، يُطلب منهما التعاون في دفتر ملاحظات مشترك.
وكتب أن الطالب الأبطأ “ينتبه على فترات قصيرة، لكن عملهم قد يتعارض أو يتعارض مع عمل الطالب الأسرع”. وفي الوقت نفسه، قد يحاول الطالب الأسرع “إصلاح” الأشياء بسرعة باستمرار وحذف عمل الطالب الأبطأ لأنه قديم.
وكتب: “النتيجة هي صفحة فارغة (أو صفحة مشطوبة) في دفتر المختبر، عندما يأتي المعلم ويفحصها”.
أدت هذه “الصفحة الفارغة” إلى إسقاط قاعدة بيانات DynamoDB الخاصة بـ AWS، مما أدى إلى إنشاء تأثير متتالي أثر على خدمات AWS الأخرى مثل EC2، التي توفر خوادم افتراضية لتطوير التطبيقات ونشرها، وNetwork Load Balancer، الذي يدير الطلبات عبر الشبكة. عندما عاد DynamoDB إلى الإنترنت، حاولت EC2 إعادة جميع خوادمها إلى الإنترنت مرة واحدة ولم تتمكن من مواكبة ذلك.
تجري أمازون عددًا من التغييرات على أنظمتها بعد انقطاع الخدمة، بما في ذلك إصلاح “سيناريو حالة السباق”، الذي تسبب في استبدال النظامين لعمل بعضهما البعض في المقام الأول، وإضافة مجموعة اختبار إضافية لخدمة EC2 الخاصة بها.
وقال جوبتا إن انقطاع التيار الكهربائي مثل ما حدث يوم الاثنين، على الرغم من ندرته، إلا أنه مجرد حقيقة. ولكن ما يهم هو كيفية معالجة مثل هذه القضايا.
“إن انقطاع التيار الكهربائي على نطاق واسع مثل هذا يحدث للتو. وقال غوبتا لشبكة CNN عبر الهاتف: “لا يوجد شيء يمكنك القيام به لتجنب ذلك، تمامًا مثل (كيف) يمرض الناس”. “لكنني أعتقد أن كيفية تفاعل الشركة مع الانقطاعات وإبقاء العملاء على اطلاع هو أمر أساسي حقًا.”
