ترانسفورمر و مکانیزم توجه | Transformer and Attention

شاید بشه گفت ایده transformer ها که تو مقاله Attention is all you need‌ اومده، از جذابترین و پرکاربردترین معماری‌های شبکه عصبی بودن تا جایی که اکثر مدلهای زبانی بزرگی که امروز میشناسیم از جمله ChatGPT و حتی بخش عمده ای از کاربردهای پردازش تصویر و ویدیو از این معماری استفاده میکنن. تو این ویدیو بیشتر میخواستم با ساختار و جزییات این مدل آشنا بشیم و اگر دیدم که این بحث میتونه جذاب باشه براتون توی ویدیوهای بعدی بریم برای پیاده سازی های مدل های بر پایه transformer ها و این ایده ها رو نزدیک کنیم به محصول نهایی.

مقاله Attention:
https://arxiv.org/pdf/1706.03762

دسترسی به ویدیوهای سایر نتورکها:
Alex Net
مقاله شبکه عصبی الکس نت | AlexNet 2012
ResNet
مقاله شبکه عصبی رزنت | ResNet 2015
VGGNet
دیپ لرنینگ | VGGNet یادگیری انتقالی و...
GoogleNet
دیپ لرنینگ | گوگل نت و کانولوشن ۱ در ۱
EfficientNet
دیپ لرنینگ | EfficientNet یادگیری انت...
U-Net
مقاله شبکه عصبی یونت | U-Net 2015


آدرس کانال‌های ارتباطی:
بلاگ مقالات به روز حوزه: http://ctdrs.ir/ds1111
وبسایت دپارتمان علم داده: https://cafetadris.com/datascience
کانال تلگرام تخصصی علم داده: @dslanders
id تلگرام من: @rezashokrzad