AI & GPU
Tensorflow Gpu

هنا ترجمة الملف إلى اللغة العربية:

title: "TensorFlow GPU: تسريع أداء التعلم العميق"

TensorFlow GPU: تسريع أداء التعلم العميق

المقدمة

لقد أحدث التعلم العميق ثورة في مجال الذكاء الاصطناعي، مما أدى إلى اختراقات في رؤية الحاسوب، والمعالجة الطبيعية للغة، وغيرها من المجالات. في صميم هذه الثورة يقع TensorFlow، وهو إطار عمل للتعلم الآلي مفتوح المصدر طوّرته شركة جوجل. في حين أن TensorFlow يمكن أن يعمل على وحدات المعالجة المركزية (CPU)، فإن استغلال قوة وحدات المعالجة الرسومية (GPU) أمر أساسي لتدريب وتنفيذ الشبكات العصبية المعقدة بكفاءة. في هذه المقالة، سنستكشف كيف يستفيد TensorFlow من وحدات المعالجة الرسومية لتسريع أحمال العمل في التعلم العميق، وسنقدم دليلاً شاملاً لإعداد وتحسين أداء TensorFlow GPU.

المفاهيم الرئيسية

وحدات المعالجة الرسومية مقابل وحدات المعالجة المركزية

  • وحدات المعالجة الرسومية (GPU) هي أجهزة متخصصة مصممة للمعالجة المتوازية لكميات كبيرة من البيانات. وهي تحتوي على آلاف النواة المحسنة للعمليات الحسابية العائمة، مما يجعلها مثالية للحسابات في التعلم العميق.
  • وحدات المعالجة المركزية (CPU) هي معالجات عامة الغرض تتفوق في المهام المتتالية والمنطق المعقد. بينما يمكن للوحدات المركزية التعامل مع أحمال العمل في التعلم العميق، إلا أنها أبطأ بكثير مقارنة بوحدات المعالجة الرسومية.

CUDA و cuDNN

  • CUDA (Compute Unified Device Architecture) هي منصة حوسبة متوازية ونموذج برمجة طورتها NVIDIA. وهي تتيح للمطورين استغلال قوة معالجات NVIDIA الرسومية للحوسبة العامة.
  • cuDNN (CUDA Deep Neural Network library) هي مكتبة مسرعة بواسطة وحدات المعالجة الرسومية لمبادئ أساسية للشبكات العصبية العميقة. وهي توفر تنفيذات محسنة بشكل كبير للعمليات الشائعة في التعلم العميق، مثل التحويل، والتجميع، ووظائف التنشيط.

دعم TensorFlow لوحدات المعالجة الرسومية

يوفر TensorFlow تكامل سلس مع وحدات المعالجة الرسومية NVIDIA من خلال استخدام CUDA و cuDNN. وهو يكتشف تلقائيًا وحدات المعالجة الرسومية المتاحة ويوزع الحمل الحسابي عبرها. يدعم TensorFlow مجموعة واسعة من معمارية وحدات المعالجة الرسومية NVIDIA.هنا ترجمة الملف إلى اللغة العربية مع الحفاظ على التعليقات في الشفرة البرمجية دون ترجمتها:

  • تورينج (سلسلة RTX 20)
  • فولتا (تيسلا V100)
  • باسكال (سلسلة GTX 10، تيتان X)
  • ماكسويل (سلسلة GTX 900)
  • كيبلر (سلسلة GTX 600/700)

إعداد TensorFlow GPU

متطلبات الأجهزة

لتشغيل TensorFlow مع تسريع GPU، تحتاج إلى بطاقة رسومات NVIDIA بقدرة حساب 3.5 أو أعلى. بعض الخيارات الشائعة تشمل:

  • NVIDIA GeForce RTX 2080 Ti
  • NVIDIA Tesla V100
  • NVIDIA Titan RTX

تأكد من أن نظامك لديه وحدة المعالجة المركزية والذاكرة العشوائية والإمداد بالطاقة الكافية لدعم بطاقة الرسومات.

متطلبات البرامج

  • برامج تشغيل بطاقة الرسومات NVIDIA (الإصدار 418.x أو أحدث)
  • حزمة CUDA Toolkit (الإصدار 10.1 أو أحدث)
  • cuDNN (الإصدار 7.6 أو أحدث)
  • Python (الإصدار 3.5-3.8)
  • حزمة TensorFlow GPU

خطوات التثبيت

  1. قم بتثبيت برامج تشغيل بطاقة الرسومات NVIDIA من الموقع الرسمي لشركة NVIDIA.
  2. قم بتنزيل وتثبيت حزمة CUDA Toolkit من صفحة تنزيل NVIDIA CUDA.
  3. قم بتنزيل cuDNN من موقع NVIDIA cuDNN (يتطلب حساب مطور NVIDIA).
  4. استخرج ملفات cuDNN وانسخها إلى دليل CUDA Toolkit.
  5. قم بإنشاء بيئة افتراضية جديدة لـ Python وقم بتنشيطها.
  6. قم بتثبيت حزمة TensorFlow GPU باستخدام pip:
pip install tensorflow-gpu
  1. تحقق من التثبيت بتشغيل الشفرة البرمجية التالية في Python:
import tensorflow as tf
print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))

إذا أظهر الإخراج GPU واحد أو أكثر، فإن التثبيت ناجح.

عمليات TensorFlow GPU الأساسية

تمكين دعم GPU

بشكل افتراضي، يستخدم TensorFlow تلقائيًا وحدات GPU المتاحة للحسابات. يمكنك تمكين أو تعطيل دعم GPU باستخدام الشفرة البرمجية التالية:

import tensorflow as tf
 
# تمكين GPU
tf.config.set_visible_devices(tf.config.list_physical_devices('GPU'), 'GPU')
 
# تعطيل GPU
tf.config.set_visible_devices([], 'GPU')

تسجيل وضع الجهاز

لرؤية الأجهزة التي يستخدمها TensorFlow لكل عملية، يمكنك تمكين تسجيل وضع الجهاز:

tf.debugging.set_log_device_placement(True)
```هذا سيطبع الجهاز (وحدة المعالجة المركزية أو وحدة المعالجة الرسومية) الذي تم تنفيذ كل عملية عليه.
 
### وضع الجهاز يدويًا
 
يمكنك وضع عمليات محددة على وحدة المعالجة المركزية أو وحدة المعالجة الرسومية يدويًا باستخدام مدير السياق `tf.device`:
 
```python
with tf.device('/CPU:0'):
    # العمليات الموضوعة على وحدة المعالجة المركزية
    cpu_output = tf.math.reduce_sum(tf.random.normal([1000, 1000]))
 
with tf.device('/GPU:0'):
    # العمليات الموضوعة على وحدة المعالجة الرسومية
    gpu_output = tf.math.reduce_sum(tf.random.normal([1000, 1000]))

تقييد نمو ذاكرة وحدة المعالجة الرسومية

بشكل افتراضي، يخصص TensorFlow كل ذاكرة وحدة المعالجة الرسومية المتاحة لنفسه، مما قد يؤدي إلى أخطاء نفاد الذاكرة. لمنع هذا، يمكنك تكوين TensorFlow لتخصيص ذاكرة وحدة المعالجة الرسومية ديناميكيًا:

gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

هذا يسمح لـ TensorFlow بتخصيص ذاكرة وحدة المعالجة الرسومية تدريجيًا حسب الحاجة، مما يقلل من خطر أخطاء نفاد الذاكرة.

مقارنة الأداء: وحدة المعالجة المركزية مقابل وحدة المعالجة الرسومية

لإظهار فوائد الأداء باستخدام وحدات المعالجة الرسومية مع TensorFlow، دعنا نقارن أوقات التدريب لشبكة عصبية تلافيفية بسيطة على مجموعة بيانات MNIST باستخدام وحدة المعالجة المركزية ووحدة المعالجة الرسومية.

تدريب وحدة المعالجة المركزية

import tensorflow as tf
from tensorflow.keras.datasets import mnist
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
 
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
x_train = x_train[..., tf.newaxis]
x_test = x_test[..., tf.newaxis]
 
model = Sequential([
    Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    Flatten(),
    Dense(64, activation='relu'),
    Dense(10)
])
 
model.compile(optimizer='adam',
   .هنا ترجمة الملف إلى اللغة العربية. لم يتم ترجمة الشفرة البرمجية، وتمت ترجمة التعليقات فقط:
 
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
 
باستخدام tf.device('/CPU:0'):
    تدريب النموذج على x_train, y_train, لمدة 5 حقب, بحجم دفعة 64, وبيانات التحقق (x_test, y_test)
 
على وحدة المعالجة المركزية Intel Core i7-9700K، يستغرق التدريب حوالي 100 ثانية لكل حقبة.
 
### تدريب على وحدة المعالجة الرسومية
 
لتدريب نفس النموذج على وحدة معالجة رسومية، ما عليك سوى إزالة سياق المدير tf.device:
 
تدريب النموذج على x_train, y_train, لمدة 5 حقب, بحجم دفعة 64, وبيانات التحقق (x_test, y_test)
 
على NVIDIA GeForce RTX 2080 Ti GPU، يستغرق التدريب حوالي 10 ثوان لكل حقبة، أي زيادة بمقدار 10 أضعاف مقارنة بوحدة المعالجة المركزية.
 
هذه النتائج توضح المكاسب الكبيرة في الأداء التي يتم تحقيقها من خلال الاستفادة من وحدات المعالجة الرسومية للمهام التعلم العميق. تصبح الزيادة في السرعة أكثر وضوحًا مع النماذج والبيانات الأكبر.
 
## التدريب متعدد وحدات المعالجة الرسومية والموزع
 
يدعم TensorFlow التدريب متعدد وحدات المعالجة الرسومية والموزع، مما يتيح لك مضاعفة نماذجك عبر العديد من وحدات المعالجة الرسومية والأجهزة لمزيد من تسريع أوقات التدريب.
 
### التدريب متعدد وحدات المعالجة الرسومية
 
لاستخدام العديد من وحدات المعالجة الرسومية على جهاز واحد، يمكنك استخدام واجهة برمجة التطبيقات tf.distribute.MirroredStrategy:
 
استراتيجية = tf.distribute.MirroredStrategy()
 
باستخدام نطاق الاستراتيجية:
    إنشاء النموذج
    تجميع النموذج
    تدريب النموذج على x_train, y_train, لمدة 5 حقب, بحجم دفعة 64, وبيانات التحقق (x_test, y_test)
 
تقوم استراتيجية MirroredStrategy تلقائيًا بتوزيع النموذج والبيانات على وحدات المعالجة الرسومية المتاحة، مما يقلل من وقت التدريب بنسبة تتناسب مع عدد وحدات المعالجة الرسومية.التدريب الموزع
 
للتدريب على نطاق واسع عبر عدة أجهزة ، يوفر TensorFlow واجهة برمجة التطبيقات `tf.distribute.experimental.MultiWorkerMirroredStrategy`:
 
```python
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy()
 
with strategy.scope():
    model = Sequential([
        Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        MaxPooling2D((2, 2)),
        Conv2D(64, (3, 3), activation='relu'),
        Flatten(),
        Dense(64, activation='relu'),
        Dense(10)
    ])
 
    model.compile(optimizer='adam',
                  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                  metrics=['accuracy'])
 
model.fit(x_train, y_train, epochs=5, batch_size=64, validation_data=(x_test, y_test))

MultiWorkerMirroredStrategy يتعامل مع الاتصال والمزامنة بين العمال ، مما يتيح لك تطوير التدريب إلى عدة أجهزة بتغييرات بسيطة في الشفرة.

حالات الاستخدام والتطبيقات

لقد مكّن تسريع GPU TensorFlow من إحراز تقدم في مجالات متنوعة ، بما في ذلك:

  • الرؤية الحاسوبية

    • تصنيف الصور
    • اكتشاف الكائنات
    • التجزئة الدلالية
    • التعرف على الوجوه

  • معالجة اللغة الطبيعية

    • ترجمة اللغة
    • توليد النص
    • تحليل المشاعر
    • التعرف على الكيانات المسماة

  • النماذج التوليدية

    • الشبكات التنافسية التوليدية (GANs)
    • المشفرات الذاتية التباينية (VAEs)
    • نقل الأسلوب
    • تحسين دقة الصور

  • الحوسبة العلمية والرقمية

    • محاكاة الفيزياء
    • الكيمياء الحاسوبية
    • علم الأحياء الحاسوبي
    • النمذجة المالية

  • ضبط المعلمات الفائقة والبحث في معمارية الشبكة العصبية

    • التحسين التلقائي للنموذج
    • استكشاف فعال لمساحات المعلمات الفائقة
    • اكتشاف معماريات شبكات عصبية جديدة

هذه مجرد بعض الأمثلة على التطبيقات الواسعة النطاق لتسريع GPU TensorFlow. مع استمرار تطور مجال التعلم العميق ، سيستمر توسيع هذه التطبيقات.هذا هو الترجمة العربية للملف:

الخاتمة

في هذه المقالة، استكشفنا قوة تسريع TensorFlow GPU للحمولات العميقة للتعلم. غطينا المفاهيم الرئيسية وراء الحوسبة باستخدام GPU، والخطوات لإعداد TensorFlow مع دعم GPU، والعمليات الأساسية لاستخدام GPU في رمز TensorFlow الخاص بك. كما أظهرنا المكاسب الكبيرة في الأداء التي تم تحقيقها باستخدام GPU مقارنة بوحدات المعالجة المركزية، وناقشنا استراتيجيات التدريب متعددة GPU والموزعة لتوسيع نطاق النماذج إلى مجموعات بيانات أكبر وأكثر تعقيدًا.

مع تزايد الطلب على التعلم العميق الأسرع والأكثر كفاءة، ستستمر وحدات GPU في كونها أداة أساسية للباحثين والممارسين على حد سواء. من خلال استغلال قوة تسريع TensorFlow GPU، يمكنك فتح آفاق جديدة في الذكاء الاصطناعي ومعالجة أصعب المشكلات في مجالك.

لذلك، سواء كنت مبتدئًا تبدأ رحلتك في التعلم العميق أو ممارسًا متمرسًا تبحث عن تحسين نماذجك، فإن اعتماد تسريع TensorFlow GPU هو خطوة حاسمة نحو تحقيق نتائج متطورة وتوسيع حدود ما هو ممكن مع التعلم الآلي.

Pytorch Multi Gpu