خدمات تخزين ونقل إضافية

في الأجزاء السابقة غطينا S3 بالتفصيل. بس فيه حالات ما يحلها: تطبيق Windows يحتاج مجلد مشترك، أو خوادم في مكتبك تبي توصل للسحابة، أو شريك يرسل ملفاته عبر SFTP، أو بيانات ضخمة تحتاج تنقلها.

هذي خريطة الجزء:

Amazon FSx: أنظمة ملفات جاهزة #

شفنا EFS لنظام ملفات Linux مشترك. FSx يشغّل لك أنظمة ملفات معروفة كخدمة مُدارة، فما تحتاج تديرها بنفسك:

واختيار FSx for Lustre فيه خيارين: Scratch رخيص وسريع لبيانات مؤقتة، بس البيانات ما لها نسخ، فلو تعطل قرص تضيع. وPersistent لبيانات طويلة المدى مع نسخ داخل منطقة التوفر.

Storage Gateway: مكتبك والسحابة #

عندك خوادم في مكتبك وتبي تستفيد من السحابة، بدون تغيير التطبيقات؟ Storage Gateway برنامج تشغّله عندك كجهاز افتراضي، ويقدم تخزين عادي لتطبيقاتك، وبياناته فعلياً في AWS، مع كاش محلي للملفات الأخيرة.

وفيه نوع رابع اسمه FSx File Gateway ما عاد متاح للعملاء الجدد، وAWS تنصح بالاتصال بـ FSx مباشرة.

نقل البيانات #

DataSync #

DataSync ينقل ويزامن بيانات كبيرة بشكل مجدول:

• من وين وإلى وين: من خوادم NFS أو SMB أو HDFS أو تخزين كائني، إلى S3 أو EFS أو FSx، وبين خدمات AWS نفسها.
• وكيل: تحتاج تشغّل وكيل (Agent) عندك للنقل من مكتبك، وما تحتاجه بين خدمات AWS.
• ينقل اللي تغيّر فقط في كل تشغيل، ويحافظ على الصلاحيات والتواريخ، ويتحقق من سلامة البيانات.

Transfer Family #

عندك شركاء أو أنظمة قديمة ترسل ملفات عبر SFTP أو FTPS أو FTP أو AS2، وما تبي تدير سيرفر لها؟ Transfer Family يعطيك نقطة استقبال مُدارة، والملفات تروح لـ S3 أو EFS. والمستخدمين من داخله، أو Active Directory، أو نظام هوية خاص فيك.

ولاحظ إن FTP غير مشفّر، فما يتوفر إلا داخل VPC. وتدفع بالساعة على كل نقطة، حتى بدون استخدام.

لما تكون البيانات أضخم من الإنترنت #

قبل ما تختار طريقة النقل، احسب. هذي المدة النظرية بسرعة الخط كاملة، والواقع أبطأ:

عندك هذي الخيارات للكميات الكبيرة:

• DataSync لو خطك يتحمل، مع مزامنة مستمرة.
• Direct Connect لو النقل كبير ومستمر، وشرحناه في الجزء الرابع عشر.
• Data Transfer Terminal: مواقع فعلية تجيبها بأجهزة تخزينك، وتوصلها بشبكة AWS بسرعة عالية.

مقارنة خدمات التخزين #

عملي: مزامنة مع DataSync #

بننقل ملفات بين حاويتين، وهذا ما يحتاج وكيل. من CloudShell، جهّز حاويتين وملفات:

SRC=series-src-$RANDOM$RANDOM
DST=series-dst-$RANDOM$RANDOM

aws s3 mb s3://$SRC
aws s3 mb s3://$DST

for i in 1 2 3; do
  echo "file $i" > file$i.txt
  aws s3 cp file$i.txt s3://$SRC/
done

echo "source: $SRC  destination: $DST"

افتح DataSync في الكونسول، واضغط Create task:

1. المصدر: أنشئ موقع جديد من نوع S3، وحدد حاوية series-src-...، واختر إنشاء دور IAM تلقائياً.
2. الوجهة: نفس الشي مع حاوية series-dst-....
3. الإعدادات: سمّ المهمة series-sync، واختر Enhanced لو ظهر لك خيار الوضع، وخل الباقي على حاله.
4. التشغيل: أنشئ المهمة، ثم اضغط Start.

لما تنتهي، تأكد من الوجهة:

aws s3 ls s3://$DST/

الحين أضف ملف واحد، وشغّل المهمة مرة ثانية:

echo "file 4" > file4.txt
aws s3 cp file4.txt s3://$SRC/

في صفحة التشغيل الجديد بتلقى ملف واحد انتقل، لأن DataSync ينقل اللي تغيّر فقط. وهذا اللي يفرق عن النسخ الكامل في كل مرة.

aws s3 rb s3://$SRC --force
aws s3 rb s3://$DST --force

الخلاصة #

• FSx أنظمة ملفات جاهزة: Windows وLustre وONTAP وOpenZFS.
• Storage Gateway يخلي مكتبك يشوف السحابة كتخزين عادي.
• DataSync للمزامنة المجدولة، وTransfer Family لاستقبال SFTP.
• احسب مدة النقل قبل ما تقرر، وSnowball ما عاد متاح للجدد.

اختبر نفسك #

قبل ما تكمل، جرّب هذي الأسئلة عشان تتأكد إنك فهمت الجزء. كل سؤال موقف عملي، وبعد ما تجاوب يطلع لك الشرح.

بهذا نكمل قسم التخزين. عندك الحين تطبيق قوي بقاعدة بيانات وشبكة وتخزين، بس كل أجزائه مربوطة ببعض مباشرة. في الجزء التاسع عشر نبدأ قسم التطبيقات الحديثة، ونفصل بينها بـ SQS وSNS وKinesis.