شبکه‌های بازگشتی RNN در یادگیری عمیق | مارک پلاس
💡 مشاوره

مارک پلاس

تکنولوژی نوین اینترنتی

RNN در یادگیری عمیق

RNN در یادگیری عمیق

RNN در یادگیری عمیق چیست؟

مقدمه:

RNN (Recurrent Neural Network) یا شبکه عصبی بازگشتی یکی از معماری‌های مهم در یادگیری عمیق (Deep Learning) است که برای پردازش داده‌های ترتیبی (Sequential Data) طراحی شده است.

برخلاف شبکه‌های عصبی معمولی که هر ورودی را مستقل از ورودی‌های قبلی پردازش می‌کنند، RNN دارای حافظه داخلی است و می‌تواند اطلاعات مراحل قبلی را برای تصمیم‌گیری فعلی به کار ببرد.

به زبان ساده:

RNN شبکه‌ای عصبی است که می‌تواند «به گذشته نگاه کند» و ارتباط بین داده‌های قبلی و فعلی را یاد بگیرد.

Image

چرا به RNN نیاز داریم؟

بسیاری از داده‌های دنیای واقعی ترتیب دارند:

  • متن و جملات

  • صدا

  • ویدئو

  • داده‌های مالی

  • اطلاعات سنسورها

  • سیگنال‌های پزشکی

برای مثال، معنی یک کلمه در جمله به کلمات قبل و بعد آن بستگی دارد.

مثال:

جمله:

من به بانک رفتم تا پول برداشت کنم.

کلمه بانک به معنی مؤسسه مالی است.

اما:

کنار رودخانه بانک نشسته بودم.

در اینجا «بانک» به معنی کناره رودخانه است.

یک مدل باید بتواند کلمات قبلی را به خاطر بسپارد تا معنی درست را بفهمد. این همان کاری است که RNN برای آن ساخته شده است.

ساختار RNN چگونه است؟

در شبکه عصبی معمولی:

Input → Neural Network → Output

هر ورودی مستقل پردازش می‌شود.

اما در RNN:

Input(t) → RNN → Output(t)

          ↑
          |
     Memory(t-1)

شبکه علاوه بر ورودی فعلی، یک حالت پنهان (Hidden State) از مرحله قبل دریافت می‌کند.

مفهوم Hidden State در RNN

مهم‌ترین بخش RNN، حالت پنهان است.

Hidden State مانند حافظه کوتاه‌مدت شبکه عمل می‌کند.

فرمول ساده:

[
h_t = f(W_h h_{t-1} + W_x x_t)
]

که در آن:

  • (h_t) → حالت پنهان فعلی

  • (h_{t-1}) → حافظه مرحله قبل

  • (x_t) → ورودی فعلی

  • (W) → وزن‌های شبکه

یعنی شبکه ترکیبی از:

  • اطلاعات قبلی

  • اطلاعات جدید

را پردازش می‌کند.

نحوه کار RNN با یک مثال

فرض کنید می‌خواهیم جمله زیر را تحلیل کنیم:

من امروز به دانشگاه رفتم

RNN کلمات را به ترتیب دریافت می‌کند:

مرحله ۱:

من

حافظه ایجاد می‌شود.

مرحله ۲:

امروز

اطلاعات قبلی + کلمه جدید پردازش می‌شوند.

مرحله ۳:

دانشگاه

شبکه مفهوم جمله را بهتر درک می‌کند.

در پایان، خروجی بر اساس کل توالی تولید می‌شود.


Image

کاربردهای RNN

۱. پردازش زبان طبیعی (NLP)

یکی از مهم‌ترین کاربردهای RNN است.

مثال‌ها:

  • تحلیل احساسات متن

  • ترجمه ماشینی

  • تکمیل خودکار متن

  • تشخیص موضوع متن

  • چت‌بات‌ها

۲. تشخیص گفتار (Speech Recognition)

RNN می‌تواند سیگنال صوتی را به صورت دنباله‌ای از داده‌ها تحلیل کند.

کاربردها:

  • تبدیل صدا به متن

  • دستیارهای صوتی

  • زیرنویس خودکار

۳. پیش‌بینی سری‌های زمانی (Time Series)

داده‌هایی که با زمان تغییر می‌کنند:

مثلاً:

  • قیمت سهام

  • میزان فروش

  • مصرف انرژی

  • وضعیت آب‌وهوا

۴. تولید متن

RNN می‌تواند با یادگیری الگوهای زبانی متن جدید تولید کند.

مثال:

ورودی:

امروز هوا

خروجی احتمالی:

خوب است

۵. تحلیل ویدئو

فریم‌های ویدئو یک ترتیب زمانی دارند.

RNN می‌تواند ارتباط بین فریم‌ها را بررسی کند.

انواع معماری‌های RNN

۱. One-to-One

ورودی یک مقدار و خروجی یک مقدار است.

مثال:

تصویر → دسته‌بندی

(البته معمولاً برای این کار CNN بهتر است.)

۲. One-to-Many

یک ورودی، چند خروجی.

مثال:

تصویر → توضیح متنی تصویر

۳. Many-to-One

چند ورودی، یک خروجی.

مثال:

متن یک نظر → احساس مثبت یا منفی

۴. Many-to-Many

چند ورودی و چند خروجی.

مثال:

جمله زبان انگلیسی → جمله زبان فارسی

(ترجمه ماشینی)

مشکل اصلی RNN: ناپدید شدن گرادیان (Vanishing Gradient)

یکی از مشکلات مهم RNNهای ساده، Vanishing Gradient است.

در آموزش شبکه با Backpropagation، اگر دنباله خیلی طولانی باشد:

  • اطلاعات قدیمی کم‌رنگ می‌شود.

  • شبکه نمی‌تواند وابستگی‌های طولانی را یاد بگیرد.

مثال:

جمله:

من سال‌ها پیش در شهری زندگی می‌کردم که ...

اگر اطلاعات ابتدای جمله برای فهم پایان آن مهم باشد، RNN ساده ممکن است آن را فراموش کند.

راه‌حل: LSTM و GRU

برای حل مشکل حافظه کوتاه RNN، معماری‌های پیشرفته‌تری معرفی شدند.

LSTM چیست؟

LSTM (Long Short-Term Memory) نسخه بهبود یافته RNN است.

LSTM دارای بخش‌هایی به نام Gate است:

  • Forget Gate

  • Input Gate

  • Output Gate

این گیت‌ها تصمیم می‌گیرند:

  • چه چیزی حفظ شود؟

  • چه چیزی حذف شود؟

  • چه اطلاعاتی منتقل شود؟

به همین دلیل LSTM می‌تواند وابستگی‌های طولانی‌تر را یاد بگیرد.

GRU چیست؟

GRU (Gated Recurrent Unit) معماری ساده‌تر از LSTM است.

دارای دو گیت اصلی:

  • Update Gate

  • Reset Gate

مزایا:

  • پارامتر کمتر

  • سرعت آموزش بیشتر

  • عملکرد نزدیک به LSTM

تفاوت RNN، LSTM و GRU

ویژگیRNNLSTMGRU
حافظهکوتاهطولانیطولانی
پیچیدگیکمزیادمتوسط
سرعت آموزشبالاکمتربیشتر از LSTM
مشکل Vanishing Gradientزیادکمترکمتر
کاربردهای پیچیدهمحدودعالیخوب

RNN در مقابل Transformer

امروزه بسیاری از کاربردهای NLP از مدل‌های Transformer استفاده می‌کنند.

مقایسه:

ویژگیRNNTransformer
پردازشترتیبیموازی
سرعت آموزشکمتربیشتر
حافظه بلندمدتمحدودبسیار بهتر
کاربرد مدرن NLPکمتربسیار گسترده

مدل‌هایی مانند:

  • BERT

  • GPT

  • T5

بر پایه معماری Transformer ساخته شده‌اند.

پیاده‌سازی ساده RNN در پایتون

با TensorFlow/Keras:

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import SimpleRNN, Dense

model = Sequential()

model.add(
    SimpleRNN(
        64,
        input_shape=(10, 1)
    )
)

model.add(Dense(1))

model.compile(
    optimizer="adam",
    loss="mse"
)

model.summary()

در این مثال:

  • ورودی شامل یک دنباله ۱۰ مرحله‌ای است.

  • RNN الگوهای زمانی را یاد می‌گیرد.

  • Dense خروجی نهایی را تولید می‌کند.

مزایای RNN

✅ مناسب برای داده‌های ترتیبی
✅ دارای حافظه داخلی
✅ مناسب برای متن و صوت
✅ ساختار ساده‌تر نسبت به Transformer
✅ قابل استفاده برای سری‌های زمانی

معایب RNN

❌ آموزش کندتر
❌ مشکل حافظه طولانی
❌ مشکل Vanishing Gradient
❌ پردازش سخت دنباله‌های بسیار طولانی
❌ جایگزین شدن در بسیاری از کاربردهای NLP توسط Transformer

جمع‌بندی


Image

RNN یا شبکه عصبی بازگشتی یکی از پایه‌های مهم یادگیری عمیق برای پردازش داده‌های ترتیبی است. ویژگی اصلی آن داشتن حافظه داخلی برای استفاده از اطلاعات گذشته است.

RNN در حوزه‌هایی مانند:

  • پردازش زبان طبیعی (NLP)

  • تشخیص گفتار

  • پیش‌بینی سری زمانی

  • تحلیل متن

کاربرد زیادی داشته است.

با این حال، به دلیل مشکلات حافظه و سرعت، معماری‌های پیشرفته‌تر مانند LSTM، GRU و Transformer در بسیاری از کاربردهای مدرن جایگزین آن شده‌اند.