زبان سلام
ویرایشگر آنلاین

کتابخانه‌ی استاندارد · یادگیری ماشین

مشتق‌گیری خودکار autograd

مشتق‌گیری خودکار معکوس برای آموزش مدل‌ها.

واردسازی مشتق‌گیری خودکار
در این صفحه
  1. گونه‌ها
  2. روال‌ها

آموزش مدل یعنی کم کردن زیان با گرادیان. این بسته هر محاسبه را روی یک نوار ثبت می‌کند و پس‌انتشار گرادیان زیان را برای همه‌ی ورودی‌ها حساب می‌کند. روال‌ها به جای تانسور، شماره‌ی گره برمی‌گردانند؛ مقدار را با مقدار و گرادیان را با گرادیان بخوانید.

در هر گام آموزش نوار را بازنشانی کنید. لایه‌های آماده در شبکه عصبی و بهینه‌سازها در بهینه‌سازی هستند.

گونه‌ها

گره Node

ساختار گره
یک گره در نوار.
نامانگلیسیگونهتوضیح
opopصحیح = 0عملیات.
aaصحیح = -1ورودی نخست.
bbصحیح = -1ورودی دوم.
outoutصحیح = -1خروجی.
auxauxصحیح = -1داده‌ی کمکی.
s0s0صحیح = 0پارامتر صحیح نخست.
s1s1صحیح = 0پارامتر صحیح دوم.
f0f0اعشار۶۴ = 0پارامتر اعشاری.
autograd-Basics.salam
واردسازی مشتق‌گیری خودکار
واردسازی تانسور

روال گرد(ت: تانسور.تانسور): رشته:
    ناپایا متن := ""
    تکرار ت.شمار درایه‌ها() در ش:
        اگر ش > ۰:
            متن += " "
        پایان
        متن += "" + ((ت.عنصر(ش) * ۱۰۰.۰ + ۱۰۰۰۰.۵) برگردان صحیح - ۱۰۰۰۰)
    پایان
    برگشت متن
پایان

روال ریشه:
    ناپایا نوار := مشتق‌گیری خودکار.نوار جدید(۱)
    ناپایا مقدار ایکس := تانسور.بازه گام(۳)
    ناپایا ثابت سه := تانسور.پرشده(تانسور.شکل یک(۳)، ۳.۰)
    ایکس := مشتق‌گیری خودکار.پایش(نوار، مقدار ایکس)
    سه := مشتق‌گیری خودکار.ثابت(نوار، ثابت سه)
    مربع := مشتق‌گیری خودکار.مربع(نوار، ایکس)
    خطی := مشتق‌گیری خودکار.ضرب درایه‌ای(نوار، سه، ایکس)
    زیان := مشتق‌گیری خودکار.مجموع(نوار، مشتق‌گیری خودکار.جمع(نوار، مربع، خطی))
    مشتق‌گیری خودکار.پس‌انتشار(نوار، زیان)
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، زیان))، گرد(مشتق‌گیری خودکار.گرادیان(نوار، ایکس))، نوار.طول()

    نوار.بازنشانی()
    ا := مشتق‌گیری خودکار.ورودی(نوار، مقدار ایکس)
    یک := مشتق‌گیری خودکار.جمع با عدد(نوار، ا، ۱.۰)
    همه := [
        مشتق‌گیری خودکار.تفریق(نوار، ا، یک)، مشتق‌گیری خودکار.تقسیم درایه‌ای(نوار، ا، یک)، مشتق‌گیری خودکار.قرینه(نوار، ا)، مشتق‌گیری خودکار.مقیاس(نوار، ا، ۲.۰)،
        مشتق‌گیری خودکار.نمایی(نوار، ا)، مشتق‌گیری خودکار.لگاریتم(نوار، یک)، مشتق‌گیری خودکار.تانژانت هذلولی(نوار، ا)، مشتق‌گیری خودکار.سیگموئید(نوار، ا)،
        مشتق‌گیری خودکار.یکسوساز(نوار، ا)، مشتق‌گیری خودکار.گلو(نوار، ا)، مشتق‌گیری خودکار.سیلو(نوار، ا)، مشتق‌گیری خودکار.ریشه دوم(نوار، یک)،
        مشتق‌گیری خودکار.توان عددی(نوار، ا، ۳.۰)، مشتق‌گیری خودکار.بیشینه نرم(نوار، ا)، مشتق‌گیری خودکار.لگاریتم بیشینه نرم(نوار، ا)، مشتق‌گیری خودکار.میانگین(نوار، ا)
    ]
    هر گره در همه:
        سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، گره))
    پایان

    نوار.بازنشانی()
    ناپایا ماتریسی := تانسور.تغییر شکل(تانسور.بازه گام(۶)، تانسور.شکل دو(۲، ۳))
    ناپایا گرادیان م := تانسور.صفرها دو(۲، ۳)
    م := مشتق‌گیری خودکار.پارامتر(نوار، ماتریسی، گرادیان م)
    ت := مشتق‌گیری خودکار.ترانهاده دوبعدی(نوار، م)
    ض := مشتق‌گیری خودکار.ضرب ماتریسی(نوار، م، ت)
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، ض))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.مجموع محور(نوار، م، ۰، نادرست)))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.میانگین محور(نوار، م، ۱، نادرست)))
    ناپایا شکل := تانسور.شکل یک(۶)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.تغییر شکل(نوار، م، شکل)))
    مشتق‌گیری خودکار.پس‌انتشار(نوار، مشتق‌گیری خودکار.مجموع(نوار، ض))
    سرچاپ گرد(گرادیان م)
    نوار.آزادسازی()
پایان
خروجی1400 300 500 700 6 -100 -100 -100 0 50 67 0 -100 -200 0 200 400 100 272 739 0 69 110 0 76 96 50 73 88 0 100 200 0 84 195 0 73 176 100 141 173 0 100 800 9 24 67 -241 -141 -41 100 500 1400 1400 5000 300 500 700 100 400 6 600 1000 1400 600 1000 1400

نوار Tape

ساختار نوار
نوار: همه‌ی محاسبه‌ها را ثبت می‌کند تا پس‌انتشار گرادیان‌ها را حساب کند. هر گره با یک شماره‌ی صحیح شناخته می‌شود.
نامانگلیسیگونهتوضیح
valsvalsوکتورمقدار گره‌ها.
gradsgradsوکتورگرادیان گره‌ها.
owns_valowns_valوکتور<منطقی>نوار مالک مقدار است.
owns_gradowns_gradوکتور<منطقی>نوار مالک گرادیان است.
needsneedsوکتور<منطقی>گره گرادیان لازم دارد.
nodesnodesوکتور<گره>گره‌ها.
trainingtrainingمنطقی = درستحالت آموزش؛ حذف تصادفی فقط در آموزش کار می‌کند.
rngrngtensor.Rngمولد تصادفی نوار.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

طول len

روال طول(): صحیح
شمار گره‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

بازنشانی reset

روال بازنشانی()
نوار را برای گام بعد خالی می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

آزادسازی free

روال آزادسازی()
نوار را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

روال‌ها

خطای میانگین مربعات MSELoss

روال خطای میانگین مربعات(tp &: نوار، pred: صحیح، target: صحیح): صحیح
زیان میانگین مربعات خطا؛ برای رگرسیون.
autograd-Layers.salam
واردسازی مشتق‌گیری خودکار
واردسازی تانسور

روال گرد(ت: تانسور.تانسور): رشته:
    ناپایا متن := ""
    تکرار ت.شمار درایه‌ها() در ش:
        اگر ش > ۰:
            متن += " "
        پایان
        متن += "" + ((ت.عنصر(ش) * ۱۰۰.۰ + ۱۰۰۰۰.۵) برگردان صحیح - ۱۰۰۰۰)
    پایان
    برگشت متن
پایان

روال مکعب(ت: تانسور.تانسور): اعشار۶۴:
    ناپایا جمع := ۰.۰
    تکرار ت.شمار درایه‌ها() در ش:
        جمع += ت.عنصر(ش) * ت.عنصر(ش) * ت.عنصر(ش)
    پایان
    برگشت جمع
پایان

روال ریشه:
    ناپایا نوار := مشتق‌گیری خودکار.نوار جدید(۷)
    ناپایا تصویر := تانسور.تغییر شکل(تانسور.بازه گام(۱۶)، تانسور.شکل چهار(۱، ۱، ۴، ۴))
    ناپایا هسته := تانسور.یک‌ها(تانسور.شکل چهار(۲، ۱، ۲، ۲))
    ناپایا سوگیری := تانسور.صفرها یک(۲)
    ای := مشتق‌گیری خودکار.ورودی(نوار، تصویر)
    وزن := مشتق‌گیری خودکار.ثابت(نوار، هسته)
    ب := مشتق‌گیری خودکار.ثابت(نوار، سوگیری)
    پ := مشتق‌گیری خودکار.پیچش دوبعدی(نوار، ای، وزن، ب، ۲، ۲، ۰، ۰)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، پ))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.بیشینه‌گیری دوبعدی(نوار، ای، ۲، ۲، ۲، ۲)))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.میانگین‌گیری دوبعدی(نوار، ای، ۲، ۲، ۲، ۲)))
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.نرمال‌سازی گروهی(نوار، پ، مشتق‌گیری خودکار.ثابت(نوار، تانسور.یک‌ها(تانسور.شکل یک(۲)))، مشتق‌گیری خودکار.ثابت(نوار، تانسور.صفرها یک(۲))، ۲، ۰.۰۰۰۰۱)))
    ناپایا میانگین جاری := تانسور.صفرها یک(۲)
    ناپایا واریانس جاری := تانسور.یک‌ها(تانسور.شکل یک(۲))
    ن := مشتق‌گیری خودکار.نرمال‌سازی دسته(نوار، پ، مشتق‌گیری خودکار.ثابت(نوار، تانسور.یک‌ها(تانسور.شکل یک(۲)))، مشتق‌گیری خودکار.ثابت(نوار، تانسور.صفرها یک(۲))، میانگین جاری، واریانس جاری، ۰.۱، ۰.۰۰۰۰۱)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، ن))، گرد(میانگین جاری)

    ناپایا ردیف := تانسور.تغییر شکل(تانسور.بازه گام(۸)، تانسور.شکل دو(۲، ۴))
    ر := مشتق‌گیری خودکار.ورودی(نوار، ردیف)
    گاما := مشتق‌گیری خودکار.ثابت(نوار، تانسور.یک‌ها(تانسور.شکل یک(۴)))
    بتا := مشتق‌گیری خودکار.ثابت(نوار، تانسور.صفرها یک(۴))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.نرمال‌سازی لایه(نوار، ر، گاما، بتا، ۰.۰۰۰۰۱)))
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.نرمال‌سازی جذر میانگین مربعات(نوار، ر، گاما، ۰.۰۰۰۰۱)))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.باریک‌سازی(نوار، ر، ۱، ۱، ۲)))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.برش محور صفر(نوار، ر، ۱، ۱)))
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.پیوند دو(نوار، ر، ر، ۰)))
    ناپایا ترتیب := وکتور {} برگردان وکتور<صحیح>
    ترتیب.بیفزا(۱)
    ترتیب.بیفزا(۰)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.جایگشت(نوار، ر، ترتیب)))
    ناپایا سه بعدی := تانسور.یک‌ها(تانسور.شکل سه(۲، ۲، ۳))
    س := مشتق‌گیری خودکار.ورودی(نوار، سه بعدی)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.ضرب ماتریسی دسته‌ای(نوار، س، مشتق‌گیری خودکار.جایگشت(نوار، س، تانسور.شکل سه(۰، ۲، ۱)))))
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.جاسازی چرخشی(نوار، ر، ۲، ۱، ۰، ۱۰۰۰۰.۰)))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.حذف تصادفی(نوار، ر، ۰.۰)))

    ناپایا واژگان := تانسور.تغییر شکل(تانسور.بازه گام(۶)، تانسور.شکل دو(۳، ۲))
    ناپایا شماره‌ها := وکتور {} برگردان وکتور<صحیح>
    شماره‌ها.بیفزا(۲)
    شماره‌ها.بیفزا(۰)
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.جاسازی(نوار، مشتق‌گیری خودکار.ثابت(نوار، واژگان)، شماره‌ها)))

    ناپایا پیش‌بینی := تانسور.پرشده(تانسور.شکل یک(۲)، ۱.۰)
    ناپایا هدف := تانسور.صفرها یک(۲)
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.خطای میانگین مربعات(نوار، مشتق‌گیری خودکار.ورودی(نوار، پیش‌بینی)، مشتق‌گیری خودکار.ثابت(نوار، هدف))))
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.آنتروپی دودویی لوجیت(نوار، مشتق‌گیری خودکار.ورودی(نوار، هدف)، مشتق‌گیری خودکار.ثابت(نوار، هدف))))
    ناپایا لوجیت := تانسور.صفرها دو(۲، ۳)
    سرچاپ گرد(مشتق‌گیری خودکار.مقدار(نوار، مشتق‌گیری خودکار.آنتروپی متقاطع لوجیت(نوار، مشتق‌گیری خودکار.ورودی(نوار، لوجیت)، شماره‌ها)))

    ناپایا نقطه := تانسور.بازه گام(۳)
    تحلیلی := تانسور.ضرب درایه‌ای(تانسور.مربع(نقطه)، تانسور.پرشده(تانسور.شکل یک(۳)، ۳.۰))
    سرچاپ مشتق‌گیری خودکار.بررسی گرادیان((ت: تانسور.تانسور) => مکعب(ت)، نقطه، تحلیلی، ۰.۰۰۱، ۰.۰۱)
    نوار.آزادسازی()
پایان
خروجی1x2x2x2 500 700 1300 1500 250 450 1050 1250 1x2x2x2 1x2x2x2 300 300 -134 -45 45 134 -134 -45 45 134 2x4 100 200 500 600 400 500 600 700 4x4 4x2 2x2x2 2x4 0 100 200 300 400 500 600 700 400 500 0 100 100 69 110 true

آنتروپی متقاطع لوجیت CrossEntropyLogits

روال آنتروپی متقاطع لوجیت(tp &: نوار، logits: صحیح، targets &: وکتور<صحیح>): صحیح
زیان آنتروپی متقاطع از لوجیت‌ها و کلاس درست؛ برای دسته‌بندی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

آنتروپی دودویی لوجیت BCEWithLogits

روال آنتروپی دودویی لوجیت(tp &: نوار، logits: صحیح، target: صحیح): صحیح
آنتروپی دودویی از لوجیت؛ برای دسته‌بندی دوتایی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

پیچش دوبعدی Conv2D

روال پیچش دوبعدی(tp &: نوار، x: صحیح، w: صحیح، b: صحیح، sh: صحیح، sw: صحیح، ph: صحیح، pw: صحیح): صحیح
پیچش دوبعدی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

بیشینه‌گیری دوبعدی MaxPool2D

روال بیشینه‌گیری دوبعدی(tp &: نوار، x: صحیح، kh: صحیح، kw: صحیح، sh: صحیح، sw: صحیح): صحیح
بیشینه‌گیری دوبعدی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

میانگین‌گیری دوبعدی AvgPool2D

روال میانگین‌گیری دوبعدی(tp &: نوار، x: صحیح، kh: صحیح، kw: صحیح، sh: صحیح، sw: صحیح): صحیح
میانگین‌گیری دوبعدی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

جمع Add

روال جمع(tp &: نوار، a: صحیح، b: صحیح): صحیح
جمع با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

تفریق Sub

روال تفریق(tp &: نوار، a: صحیح، b: صحیح): صحیح
تفریق با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

ضرب درایه‌ای Mul

روال ضرب درایه‌ای(tp &: نوار، a: صحیح، b: صحیح): صحیح
ضرب درایه‌ای با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

تقسیم درایه‌ای Div

روال تقسیم درایه‌ای(tp &: نوار، a: صحیح، b: صحیح): صحیح
تقسیم درایه‌ای با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

قرینه Neg

روال قرینه(tp &: نوار، a: صحیح): صحیح
قرینه با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

مقیاس Scale

روال مقیاس(tp &: نوار، a: صحیح، s: اعشار۶۴): صحیح
ضرب در عدد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

جمع با عدد AddScalar

روال جمع با عدد(tp &: نوار، a: صحیح، s: اعشار۶۴): صحیح
جمع با عدد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

نمایی Exp

روال نمایی(tp &: نوار، a: صحیح): صحیح
نمایی با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

لگاریتم Log

روال لگاریتم(tp &: نوار، a: صحیح): صحیح
لگاریتم با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

تانژانت هذلولی Tanh

روال تانژانت هذلولی(tp &: نوار، a: صحیح): صحیح
تانژانت هذلولی با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

سیگموئید Sigmoid

روال سیگموئید(tp &: نوار، a: صحیح): صحیح
سیگموئید با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

یکسوساز Relu

روال یکسوساز(tp &: نوار، a: صحیح): صحیح
یکسوساز با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

گلو Gelu

روال گلو(tp &: نوار، a: صحیح): صحیح
GELU با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

ریشه دوم Sqrt

روال ریشه دوم(tp &: نوار، a: صحیح): صحیح
ریشه‌ی دوم با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

مربع Square

روال مربع(tp &: نوار، a: صحیح): صحیح
مربع با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

توان عددی PowScalar

روال توان عددی(tp &: نوار، a: صحیح، p: اعشار۶۴): صحیح
توان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

سیلو Silu

روال سیلو(tp &: نوار، a: صحیح): صحیح
SiLU با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

ضرب ماتریسی MatMul

روال ضرب ماتریسی(tp &: نوار، a: صحیح، b: صحیح): صحیح
ضرب ماتریسی با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

مجموع Sum

روال مجموع(tp &: نوار، a: صحیح): صحیح
مجموع همه با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

میانگین Mean

روال میانگین(tp &: نوار، a: صحیح): صحیح
میانگین همه با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

مجموع محور SumAxis

روال مجموع محور(tp &: نوار، a: صحیح، axis: صحیح، keepdim: منطقی): صحیح
مجموع در یک بعد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

میانگین محور MeanAxis

روال میانگین محور(tp &: نوار، a: صحیح، axis: صحیح، keepdim: منطقی): صحیح
میانگین در یک بعد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

بیشینه نرم Softmax

روال بیشینه نرم(tp &: نوار، a: صحیح): صحیح
بیشینه‌ی نرم با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

لگاریتم بیشینه نرم LogSoftmax

روال لگاریتم بیشینه نرم(tp &: نوار، a: صحیح): صحیح
لگاریتم بیشینه‌ی نرم با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

تغییر شکل Reshape

روال تغییر شکل(tp &: نوار، a: صحیح، shape &: وکتور<صحیح>): صحیح
تغییر شکل.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

ترانهاده دوبعدی Transpose2D

روال ترانهاده دوبعدی(tp &: نوار، a: صحیح): صحیح
ترانهاده با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

نرمال‌سازی لایه LayerNorm

روال نرمال‌سازی لایه(tp &: نوار، x: صحیح، gamma: صحیح، beta: صحیح، eps: اعشار۶۴): صحیح
نرمال‌سازی لایه با گاما و بتا.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

نرمال‌سازی جذر میانگین مربعات RMSNorm

روال نرمال‌سازی جذر میانگین مربعات(tp &: نوار، x: صحیح، gamma: صحیح، eps: اعشار۶۴): صحیح
نرمال‌سازی جذر میانگین مربعات، مثل Llama.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

نرمال‌سازی دسته BatchNorm

روال نرمال‌سازی دسته(tp &: نوار، x: صحیح، gamma: صحیح، beta: صحیح، running_mean &: tensor.Tensor، running_var &: tensor.Tensor، momentum: اعشار۶۴، eps: اعشار۶۴): صحیح
نرمال‌سازی دسته؛ میانگین و واریانس جاری را در آموزش به‌روز می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

نرمال‌سازی گروهی GroupNorm

روال نرمال‌سازی گروهی(tp &: نوار، x: صحیح، gamma: صحیح، beta: صحیح، groups: صحیح، eps: اعشار۶۴): صحیح
نرمال‌سازی گروهی کانال‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

ضرب ماتریسی دسته‌ای BatchMatMul

روال ضرب ماتریسی دسته‌ای(tp &: نوار، a: صحیح، b: صحیح): صحیح
ضرب ماتریسی دسته‌ای با گرادیان.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

جایگشت Permute

روال جایگشت(tp &: نوار، a: صحیح، perm &: وکتور<صحیح>): صحیح
جایگشت ابعاد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

جاسازی Embedding

روال جاسازی(tp &: نوار، weight: صحیح، indices &: وکتور<صحیح>): صحیح
سطرهای جدول جاسازی برای شماره‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

حذف تصادفی Dropout

روال حذف تصادفی(tp &: نوار، a: صحیح، p: اعشار۶۴): صحیح
در آموزش درایه‌ها را با احتمال p صفر می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

باریک‌سازی Narrow

روال باریک‌سازی(tp &: نوار، a: صحیح، axis: صحیح، start: صحیح، len: صحیح): صحیح
بازه‌ای از یک بعد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

برش محور صفر SliceAxis0

روال برش محور صفر(tp &: نوار، a: صحیح، start: صحیح، len: صحیح): صحیح
بازه‌ای از بعد نخست.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

پیوند دو Concat2

روال پیوند دو(tp &: نوار، a: صحیح، b: صحیح، axis: صحیح): صحیح
پیوند دو گره.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

جاسازی چرخشی RoPE

روال جاسازی چرخشی(tp &: نوار، a: صحیح، seq: صحیح، heads: صحیح، offset: صحیح، theta: اعشار۶۴): صحیح
جاسازی موقعیت چرخشی برای توجه.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam

نوار جدید NewTape

روال نوار جدید(seed: صحیح۶۴): نوار
نوار با بذر مولد تصادفی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

ورودی Input

روال ورودی(tp &: نوار، t &: tensor.Tensor): صحیح
تانسوری را بی گرادیان به نوار می‌دهد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

ثابت Constant

روال ثابت(tp &: نوار، t &: tensor.Tensor): صحیح
ثابت؛ مثل ورودی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

پایش Watch

روال پایش(tp &: نوار، t &: tensor.Tensor): صحیح
تانسوری را با گرادیان ثبت می‌کند تا پس از پس‌انتشار با گرادیان خوانده شود.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

پارامتر Param

روال پارامتر(tp &: نوار، val &: tensor.Tensor، grad &: tensor.Tensor): صحیح
پارامتر با تانسور گرادیانی که پس‌انتشار در آن جمع می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

مقدار Value

روال مقدار(tp &: نوار، v: صحیح): tensor.Tensor
مقدار گره.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

گرادیان Grad

روال گرادیان(tp &: نوار، v: صحیح): tensor.Tensor
گرادیان گره پس از پس‌انتشار.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

پس‌انتشار Backward

روال پس‌انتشار(tp &: نوار، loss: صحیح)
از گره زیان پس‌انتشار می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Basics.salam

بررسی گرادیان GradCheck

روال بررسی گرادیان(f: روال(tensor.Tensor): اعشار۶۴، x &: tensor.Tensor، analytic &: tensor.Tensor، h: اعشار۶۴، tol: اعشار۶۴): منطقی
گرادیان تحلیلی را با تفاضل عددی می‌سنجد؛ برای آزمودن لایه‌های تازه.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: autograd-Layers.salam