کتابخانه‌ی استاندارد · یادگیری ماشین

شبکه عصبی `nn`

لایه‌های شبکه‌ی عصبی: خطی، پیچشی، بازگشتی، ترنسفورمر و نقطه‌ی بازرسی.

واردسازی شبکه عصبی

در این صفحه

گونه‌ها
روال‌ها

این بسته لایه‌های آماده برای ساختن مدل دارد. وزن‌های همه‌ی لایه‌ها در یک مخزن پارامتر نگه داشته می‌شوند؛ هر لایه را با ... جدید و نامی یکتا بسازید و در هر گام پیشرو را روی نوار صدا بزنید. ترتیبی چند لایه را پشت سر هم اجرا می‌کند.

پس از آموزش با بهینه‌سازی، مدل را با ذخیره نقطه بازرسی ذخیره و بعداً بارگذاری کنید.

گونه‌ها

پارامتر `Parameter`

ساختار پارامتر

یک پارامتر آموختنی.

نام	انگلیسی	گونه	توضیح
name	`name`	`رشته = ""`	نام.
value	`value`	`tensor.Tensor`	مقدار.
grad	`grad`	`tensor.Tensor`	گرادیان.

nn-Layers.salam

واردسازی شبکه عصبی
واردسازی مشتق‌گیری خودکار
واردسازی بهینه‌سازی
واردسازی تانسور
واردسازی سیستم عامل
واردسازی فشرده سازی

روال ریشه:
    ناپایا مخزن := شبکه عصبی.مخزن پارامتر {}
    ناپایا مولد := تانسور.مولد تصادفی جدید(۳)
    لایه۱ := شبکه عصبی.لایه خطی جدید(مخزن، "fc1"، ۲، ۸، مولد)
    لایه۲ := شبکه عصبی.لایه خطی بی‌بایاس(مخزن، "fc2"، ۸، ۱، مولد)
    ناپایا مدل := شبکه عصبی.ترتیبی {}
    مدل.افزودن(لایه۱)
    مدل.افزودن(شبکه عصبی.لایه تانژانت هذلولی {})
    مدل.افزودن(لایه۲)
    سرچاپ مخزن.شمار()

    ناپایا ورودی‌ها := تانسور.تغییر شکل(تانسور.بازه گام(۸)، تانسور.شکل دو(۴، ۲))
    تانسور.مقیاس درجا(ورودی‌ها، ۰.۲۵)
    ناپایا هدف := تانسور.صفرها دو(۴، ۱)
    تکرار ۴ در ش:
        هدف.تنظیم در(ش، ورودی‌ها.در دو(ش، ۰) + ورودی‌ها.در دو(ش، ۱))
    پایان
    ناپایا آدام := بهینه‌سازی.آدام { lr = ۰.۰۵ }
    ناپایا نوار := مشتق‌گیری خودکار.نوار جدید(۱)
    ناپایا آخرین := ۰.۰
    تکرار ۳۰۰:
        نوار.بازنشانی()
        مخزن.صفر کردن گرادیان()
        خروجی := مدل.پیشرو(نوار، مخزن، مشتق‌گیری خودکار.ورودی(نوار، ورودی‌ها))
        زیان := مشتق‌گیری خودکار.خطای میانگین مربعات(نوار، خروجی، مشتق‌گیری خودکار.ثابت(نوار، هدف))
        مشتق‌گیری خودکار.پس‌انتشار(نوار، زیان)
        آدام.گام(مخزن)
        آخرین = مشتق‌گیری خودکار.مقدار(نوار، زیان).عنصر(۰)
    پایان
    سرچاپ آخرین < ۰.۰۱
    ناپایا پ := مخزن.عنصر(لایه۱.w)
    سرچاپ پ.name، تانسور.رشته شکل(پ.value)، تانسور.رشته شکل(پ.grad)
    گره وزن := شبکه عصبی.پیوند(نوار، مخزن، لایه۱.w)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، گره وزن))

    مسیر := سیستم عامل.پوشه موقت() + "/salam_mlp.ckpt"
    سرچاپ شبکه عصبی.ذخیره نقطه بازرسی(مسیر، مخزن)، شبکه عصبی.بارگذاری نقطه بازرسی(مسیر، مخزن)
    ناپایا بافر := شبکه عصبی.ذخیره نقطه بازرسی در بافر(مخزن)
    سرچاپ شبکه عصبی.بارگذاری نقطه بازرسی از بافر(بافر، مخزن)
    فشرده سازی.آزادسازی بافر(بافر)

    ناپایا تصویرها := تانسور.یک‌ها(تانسور.شکل چهار(۲، ۱، ۸، ۸))
    پیچش := شبکه عصبی.لایه پیچشی جدید(مخزن، "conv"، ۱، ۴، ۳، ۱، ۱، مولد)
    ناپایا نرم دسته := شبکه عصبی.نرمال‌سازی دسته جدید(مخزن، "bn"، ۴)
    نرم گروه := شبکه عصبی.نرمال‌سازی گروهی جدید(مخزن، "gn"، ۴، ۲)
    بیشینه := شبکه عصبی.لایه بیشینه‌گیری { size = ۲، stride = ۲ }
    میانگین := شبکه عصبی.لایه میانگین‌گیری {}
    ح := پیچش.پیشرو(نوار، مخزن، مشتق‌گیری خودکار.ورودی(نوار، تصویرها))
    ح۲ := نرم گروه.پیشرو(نوار، مخزن، نرم دسته.پیشرو(نوار، مخزن، ح))
    ح۳ := میانگین.پیشرو(نوار، بیشینه.پیشرو(نوار، شبکه عصبی.لایه یکسوساز {}.پیشرو(نوار، مخزن، ح۲)))
    تخت := شبکه عصبی.تخت‌سازی(نوار، ح۳)
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، ح))، تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، تخت))

    ردیف := مشتق‌گیری خودکار.ورودی(نوار، تانسور.یک‌ها(تانسور.شکل دو(۲، ۴)))
    نرم لایه := شبکه عصبی.نرمال‌سازی لایه جدید(مخزن، "ln"، ۴)
    نرم جذر := شبکه عصبی.نرمال‌سازی جذر میانگین مربعات جدید(مخزن، "rms"، ۴)
    حذف := شبکه عصبی.حذف تصادفی { p = ۰.۰ }
    گلو := شبکه عصبی.لایه گلو {}
    خ := گلو.پیشرو(نوار، مخزن، حذف.پیشرو(نوار، نرم جذر.پیشرو(نوار، مخزن، نرم لایه.پیشرو(نوار، مخزن، ردیف))))
    سرچاپ تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، خ))

    ناپایا وزن := تانسور.صفرها دو(۶۴، ۶۴)
    شبکه عصبی.ژاویر یکنواخت(وزن، ۶۴، ۶۴، مولد)
    سرچاپ تانسور.بیشینه همه(تانسور.قدر مطلق(وزن)) <= ۰.۲۲
    شبکه عصبی.ژاویر نرمال(وزن، ۶۴، ۶۴، مولد)
    شبکه عصبی.کایمینگ یکنواخت(وزن، ۶۴، مولد)
    سرچاپ تانسور.بیشینه همه(تانسور.قدر مطلق(وزن)) <= ۰.۳۱
    شبکه عصبی.کایمینگ نرمال(وزن، ۶۴، مولد)
    سرچاپ تانسور.بیشینه همه(تانسور.قدر مطلق(وزن)) > ۰.۰

    نوار.آزادسازی()
    آدام.آزادسازی()
    مدل.آزادسازی()
    نرم دسته.آزادسازی()
    مخزن.آزادسازی()
پایان

خروجی3 true fc1.w 2x8 2x8 2x8 true true true 2x4x8x8 2x16 2x4 true true true

مخزن پارامتر `ParamStore`

ساختار مخزن پارامتر

مخزن پارامترها؛ همه‌ی وزن‌های مدل آنجاست و لایه‌ها با شماره به آن‌ها اشاره می‌کنند.

نام	انگلیسی	گونه	توضیح
items	`items`	`وکتور<پارامتر>`	پارامترها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

افزودن `add`

روال افزودن(name: رشته، t: tensor.Tensor): صحیح

پارامتر می‌افزاید و شماره‌اش را برمی‌گرداند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

شمار `count`

روال شمار(): صحیح

شمار پارامترها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

عنصر `at`

روال عنصر(h: صحیح): پارامتر

پارامتر شماره‌ی h.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

صفر کردن گرادیان `zero_grad`

روال صفر کردن گرادیان()

گرادیان‌ها را صفر می‌کند؛ در آغاز هر گام.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

آزادسازی `free`

روال آزادسازی()

همه را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه خطی `Linear`

ساختار لایه خطی

لایه‌ی خطی: xW+b.

نام	انگلیسی	گونه	توضیح
w	`w`	`صحیح = -1`	شماره‌ی وزن.
b	`b`	`صحیح = -1`	شماره‌ی سوگیری.
in_features	`in_features`	`صحیح = 0`	اندازه‌ی ورودی.
out_features	`out_features`	`صحیح = 0`	اندازه‌ی خروجی.
has_bias	`has_bias`	`منطقی = درست`	سوگیری دارد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

حافظه کوتاه‌مدت بلند `LSTM`

ساختار حافظه کوتاه‌مدت بلند

شبکه‌ی حافظه‌ی کوتاه‌مدت بلند.

نام	انگلیسی	گونه	توضیح
wx	`wx`	`لایه خطی`	وزن ورودی.
wh	`wh`	`لایه خطی`	وزن حالت.
hidden	`hidden`	`صحیح = 0`	اندازه‌ی حالت.

nn-Sequence.salam

واردسازی شبکه عصبی
واردسازی مشتق‌گیری خودکار
واردسازی تانسور

روال شکل(نوار &: مشتق‌گیری خودکار.نوار، گره: صحیح): رشته:
    برگشت تانسور.رشته شکل(مشتق‌گیری خودکار.مقدار(نوار، گره))
پایان

روال ریشه:
    دسته := ۲
    طول := ۳
    بعد := ۸
    ناپایا مخزن := شبکه عصبی.مخزن پارامتر {}
    ناپایا مولد := تانسور.مولد تصادفی جدید(۱۱)
    ناپایا نوار := مشتق‌گیری خودکار.نوار جدید(۱)

    جاسازی := شبکه عصبی.جاسازی جدید(مخزن، "embed"، ۱۰، بعد، مولد)
    ناپایا توکن‌ها := وکتور {} برگردان وکتور<صحیح>
    هر ت در [۱، ۲، ۳، ۴، ۵، ۶]:
        توکن‌ها.بیفزا(ت)
    پایان
    ح := جاسازی.پیشرو(نوار، مخزن، توکن‌ها)
    ناپایا مکان := شبکه عصبی.موقعیت سینوسی(دسته، طول، بعد)
    ح۲ := مشتق‌گیری خودکار.جمع(نوار، ح، مشتق‌گیری خودکار.ورودی(نوار، مکان))
    سرچاپ شکل(نوار، ح)، تانسور.رشته شکل(مکان)

    توجه := شبکه عصبی.توجه چندسر جدید(مخزن، "attn"، بعد، ۲، ۰.۰، مولد)
    سرچاپ شکل(نوار، توجه.پیشرو(نوار، مخزن، ح۲، دسته، طول))
    رمزگذار := شبکه عصبی.لایه رمزگذار ترنسفورمر جدید(مخزن، "enc"، بعد، ۲، ۱۶، ۰.۰، مولد)
    سرچاپ شکل(نوار، رمزگذار.پیشرو(نوار، مخزن، ح۲، دسته، طول))
    رمزگشا := شبکه عصبی.لایه رمزگشای ترنسفورمر جدید(مخزن، "dec"، بعد، ۲، ۱۶، ۰.۰، مولد)
    سرچاپ شکل(نوار، رمزگشا.پیشرو(نوار، مخزن، ح۲، دسته، طول))
    ناپایا ماسک := شبکه عصبی.ماسک علّی(طول)
    سرچاپ تانسور.به رشته(تانسور.کوچکتر از عدد(ماسک، -۱.۰))

    ناپایا دنباله := تانسور.یک‌ها(تانسور.شکل دو(طول * دسته، ۴))
    حافظه := شبکه عصبی.حافظه کوتاه‌مدت بلند جدید(مخزن، "lstm"، ۴، ۶، مولد)
    دروازه := شبکه عصبی.واحد بازگشتی دروازه‌دار جدید(مخزن، "gru"، ۴، ۶، مولد)
    ورودی د := مشتق‌گیری خودکار.ورودی(نوار، دنباله)
    حالت‌ها := حافظه.پیشرو(نوار، مخزن، ورودی د، طول، دسته)
    حالت‌ها۲ := دروازه.پیشرو(نوار، مخزن، ورودی د، طول، دسته)
    سرچاپ شکل(نوار، حالت‌ها)، شکل(نوار، حالت‌ها۲)، شکل(نوار، شبکه عصبی.گام آخر(نوار، حالت‌ها، طول، دسته))
    سرچاپ مخزن.شمار() > ۱۰
    نوار.آزادسازی()
    مخزن.آزادسازی()
پایان

خروجی6x8 6x8 6x8 6x8 6x8 tensor(3x3)[0 1 1 0 0 1 0 0 0] 6x6 6x6 2x6 true

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح، seq: صحیح، batch: صحیح): صحیح

حالت همه‌ی گام‌ها را برمی‌گرداند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

واحد بازگشتی دروازه‌دار `GRU`

ساختار واحد بازگشتی دروازه‌دار

واحد بازگشتی دروازه‌دار.

نام	انگلیسی	گونه	توضیح
wx	`wx`	`لایه خطی`	وزن ورودی.
wh	`wh`	`لایه خطی`	وزن حالت.
hidden	`hidden`	`صحیح = 0`	اندازه‌ی حالت.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح، seq: صحیح، batch: صحیح): صحیح

حالت همه‌ی گام‌ها را برمی‌گرداند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

لایه `Layer`

میانجی لایه

رابط لایه: هر چیزی که پیشرو دارد و در ترتیبی می‌نشیند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه یکسوساز `ReluLayer`

ساختار لایه یکسوساز

لایه‌ی یکسوساز برای ترتیبی.

نام	انگلیسی	گونه	توضیح
unused	`unused`	`صحیح = 0`	بی‌کاربرد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، _ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه گلو `GeluLayer`

ساختار لایه گلو

لایه‌ی GELU برای ترتیبی.

نام	انگلیسی	گونه	توضیح
unused	`unused`	`صحیح = 0`	بی‌کاربرد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، _ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه تانژانت هذلولی `TanhLayer`

ساختار لایه تانژانت هذلولی

لایه‌ی تانژانت هذلولی برای ترتیبی.

نام	انگلیسی	گونه	توضیح
unused	`unused`	`صحیح = 0`	بی‌کاربرد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، _ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

ترتیبی `Sequential`

ساختار ترتیبی

زنجیره‌ای از لایه‌ها که پشت سر هم اجرا می‌شوند.

نام	انگلیسی	گونه	توضیح
layers	`layers`	`وکتور`	لایه‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

افزودن `add`

روال افزودن(l: dyn لایه)

لایه‌ای به انتها می‌افزاید.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

ورودی را از همه‌ی لایه‌ها می‌گذراند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

آزادسازی `free`

روال آزادسازی()

زنجیره را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه پیچشی `Conv2D`

ساختار لایه پیچشی

لایه‌ی پیچش دوبعدی.

نام	انگلیسی	گونه	توضیح
w	`w`	`صحیح = -1`	شماره‌ی وزن.
b	`b`	`صحیح = -1`	شماره‌ی سوگیری.
stride	`stride`	`صحیح = 1`	گام.
pad	`pad`	`صحیح = 0`	لایه‌گذاری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه بیشینه‌گیری `MaxPool2D`

ساختار لایه بیشینه‌گیری

لایه‌ی بیشینه‌گیری دوبعدی.

نام	انگلیسی	گونه	توضیح
size	`size`	`صحیح = 2`	اندازه‌ی پنجره.
stride	`stride`	`صحیح = 2`	گام.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه میانگین‌گیری `AvgPool2D`

ساختار لایه میانگین‌گیری

لایه‌ی میانگین‌گیری دوبعدی.

نام	انگلیسی	گونه	توضیح
size	`size`	`صحیح = 2`	اندازه‌ی پنجره.
stride	`stride`	`صحیح = 2`	گام.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

توجه چندسر `MultiHeadAttention`

ساختار توجه چندسر

توجه چندسر.

نام	انگلیسی	گونه	توضیح
wq	`wq`	`لایه خطی`	لایه‌ی پرسش.
wk	`wk`	`لایه خطی`	لایه‌ی کلید.
wv	`wv`	`لایه خطی`	لایه‌ی مقدار.
wo	`wo`	`لایه خطی`	لایه‌ی خروجی.
dim	`dim`	`صحیح = 0`	اندازه.
heads	`heads`	`صحیح = 1`	شمار سرها.
dropout	`dropout`	`اعشار۶۴ = 0`	احتمال حذف.
causal	`causal`	`منطقی = نادرست`	هر جایگاه فقط جایگاه‌های پیشین را ببیند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح، batch: صحیح، seq: صحیح): صحیح

خودتوجهی روی ورودی با دسته و طول.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

لایه رمزگذار ترنسفورمر `TransformerEncoderLayer`

ساختار لایه رمزگذار ترنسفورمر

یک لایه‌ی ترنسفورمر: توجه و شبکه‌ی پیشرو، هر دو با نرمال‌سازی و پیوند باقیمانده.

نام	انگلیسی	گونه	توضیح
attn	`attn`	`توجه چندسر`	توجه.
ln1	`ln1`	`نرمال‌سازی لایه`	نرمال‌سازی نخست.
ln2	`ln2`	`نرمال‌سازی لایه`	نرمال‌سازی دوم.
ff1	`ff1`	`لایه خطی`	لایه‌ی پیشروی نخست.
ff2	`ff2`	`لایه خطی`	لایه‌ی پیشروی دوم.
dropout	`dropout`	`اعشار۶۴ = 0`	احتمال حذف.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح، batch: صحیح، seq: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

حذف تصادفی `Dropout`

ساختار حذف تصادفی

لایه‌ی حذف تصادفی.

نام	انگلیسی	گونه	توضیح
p	`p`	`اعشار۶۴ = 0.1`	احتمال حذف.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

جاسازی `Embedding`

ساختار جاسازی

جدول جاسازی: هر شماره‌ی واژه یک بردار.

نام	انگلیسی	گونه	توضیح
w	`w`	`صحیح = -1`	شماره‌ی جدول.
vocab	`vocab`	`صحیح = 0`	اندازه‌ی واژگان.
dim	`dim`	`صحیح = 0`	اندازه‌ی بردار.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، indices &: وکتور<صحیح>): صحیح

بردارهای شماره‌ها را برمی‌دارد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

نرمال‌سازی لایه `LayerNorm`

ساختار نرمال‌سازی لایه

نرمال‌سازی لایه.

نام	انگلیسی	گونه	توضیح
gamma	`gamma`	`صحیح = -1`	شماره‌ی گاما.
beta	`beta`	`صحیح = -1`	شماره‌ی بتا.
eps	`eps`	`اعشار۶۴ = 1e-05`	عدد کوچک پایداری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

نرمال‌سازی دسته `BatchNorm`

ساختار نرمال‌سازی دسته

نرمال‌سازی دسته.

نام	انگلیسی	گونه	توضیح
gamma	`gamma`	`صحیح = -1`	شماره‌ی گاما.
beta	`beta`	`صحیح = -1`	شماره‌ی بتا.
running_mean	`running_mean`	`tensor.Tensor`	میانگین جاری برای پیش‌بینی.
running_var	`running_var`	`tensor.Tensor`	واریانس جاری.
momentum	`momentum`	`اعشار۶۴ = 0.1`	ضریب به‌روزرسانی آمار جاری.
eps	`eps`	`اعشار۶۴ = 1e-05`	عدد کوچک پایداری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

آزادسازی `free`

روال آزادسازی()

آمار جاری را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

نرمال‌سازی گروهی `GroupNorm`

ساختار نرمال‌سازی گروهی

نرمال‌سازی گروهی.

نام	انگلیسی	گونه	توضیح
gamma	`gamma`	`صحیح = -1`	شماره‌ی گاما.
beta	`beta`	`صحیح = -1`	شماره‌ی بتا.
groups	`groups`	`صحیح = 1`	شمار گروه‌ها.
eps	`eps`	`اعشار۶۴ = 1e-05`	عدد کوچک پایداری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

نرمال‌سازی جذر میانگین مربعات `RMSNorm`

ساختار نرمال‌سازی جذر میانگین مربعات

نرمال‌سازی جذر میانگین مربعات.

نام	انگلیسی	گونه	توضیح
gamma	`gamma`	`صحیح = -1`	شماره‌ی گاما.
eps	`eps`	`اعشار۶۴ = 1e-05`	عدد کوچک پایداری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

پیشرو `forward`

روال پیشرو(tp &: autograd.Tape، ps &: مخزن پارامتر، x: صحیح): صحیح

خروجی لایه را روی نوار حساب می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

روال‌ها

پیوند `Bind`

روال پیوند(tp &: autograd.Tape، ps &: مخزن پارامتر، h: صحیح): صحیح

پارامتر را به نوار وصل می‌کند و گره‌اش را برمی‌گرداند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه خطی جدید `NewLinear`

روال لایه خطی جدید(ps &: مخزن پارامتر، name: رشته، in_f: صحیح، out_f: صحیح، g &: tensor.Rng): لایه خطی

لایه‌ی خطی با وزن‌های آغازین کایمینگ.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

لایه خطی بی‌بایاس `NewLinearNoBias`

روال لایه خطی بی‌بایاس(ps &: مخزن پارامتر، name: رشته، in_f: صحیح، out_f: صحیح، g &: tensor.Rng): لایه خطی

لایه‌ی خطی بی سوگیری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

حافظه کوتاه‌مدت بلند جدید `NewLSTM`

روال حافظه کوتاه‌مدت بلند جدید(ps &: مخزن پارامتر، name: رشته، in_f: صحیح، hidden: صحیح، g &: tensor.Rng): حافظه کوتاه‌مدت بلند

LSTM با اندازه‌ی ورودی و حالت.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

واحد بازگشتی دروازه‌دار جدید `NewGRU`

روال واحد بازگشتی دروازه‌دار جدید(ps &: مخزن پارامتر، name: رشته، in_f: صحیح، hidden: صحیح، g &: tensor.Rng): واحد بازگشتی دروازه‌دار

GRU با اندازه‌ی ورودی و حالت.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

گام آخر `LastStep`

روال گام آخر(tp &: autograd.Tape، out: صحیح، seq: صحیح، batch: صحیح): صحیح

حالت گام آخر هر دنباله؛ برای دسته‌بندی دنباله.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

لایه پیچشی جدید `NewConv2D`

روال لایه پیچشی جدید(ps &: مخزن پارامتر، name: رشته، in_ch: صحیح، out_ch: صحیح، k: صحیح، stride: صحیح، pad: صحیح، g &: tensor.Rng): لایه پیچشی

لایه‌ی پیچش با کانال‌ها، اندازه‌ی هسته، گام و لایه‌گذاری.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

تخت‌سازی `Flatten`

روال تخت‌سازی(tp &: autograd.Tape، x: صحیح): صحیح

همه‌ی ابعاد جز نخست را یکی می‌کند؛ بین پیچش و لایه‌ی خطی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

ژاویر یکنواخت `XavierUniform`

روال ژاویر یکنواخت(t &: tensor.Tensor، fan_in: صحیح، fan_out: صحیح، g &: tensor.Rng)

مقداردهی ژاویر یکنواخت؛ برای لایه‌های با tanh و سیگموئید.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

ژاویر نرمال `XavierNormal`

روال ژاویر نرمال(t &: tensor.Tensor، fan_in: صحیح، fan_out: صحیح، g &: tensor.Rng)

مقداردهی ژاویر نرمال.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

کایمینگ یکنواخت `KaimingUniform`

روال کایمینگ یکنواخت(t &: tensor.Tensor، fan_in: صحیح، g &: tensor.Rng)

مقداردهی کایمینگ یکنواخت؛ برای لایه‌های با یکسوساز.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

کایمینگ نرمال `KaimingNormal`

روال کایمینگ نرمال(t &: tensor.Tensor، fan_in: صحیح، g &: tensor.Rng)

مقداردهی کایمینگ نرمال.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

توجه چندسر جدید `NewMultiHeadAttention`

روال توجه چندسر جدید(ps &: مخزن پارامتر، name: رشته، dim: صحیح، heads: صحیح، dropout: اعشار۶۴، g &: tensor.Rng): توجه چندسر

توجه چندسر با اندازه و شمار سرها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

لایه رمزگذار ترنسفورمر جدید `NewTransformerEncoderLayer`

روال لایه رمزگذار ترنسفورمر جدید(ps &: مخزن پارامتر، name: رشته، dim: صحیح، heads: صحیح، ff_dim: صحیح، dropout: اعشار۶۴، g &: tensor.Rng): لایه رمزگذار ترنسفورمر

لایه‌ی رمزگذار.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

ماسک علّی `CausalMask`

روال ماسک علّی(seq: صحیح): tensor.Tensor

ماسک علّی: منفی بی‌نهایت بالای قطر.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

لایه رمزگشای ترنسفورمر جدید `NewTransformerDecoderLayer`

روال لایه رمزگشای ترنسفورمر جدید(ps &: مخزن پارامتر، name: رشته، dim: صحیح، heads: صحیح، ff_dim: صحیح، dropout: اعشار۶۴، g &: tensor.Rng): لایه رمزگذار ترنسفورمر

لایه‌ی رمزگشا: همان، با توجه علّی برای مدل زبانی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

جاسازی جدید `NewEmbedding`

روال جاسازی جدید(ps &: مخزن پارامتر، name: رشته، vocab: صحیح، dim: صحیح، g &: tensor.Rng): جاسازی

جدول جاسازی با واژگان و اندازه.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

موقعیت سینوسی `SinusoidalPositions`

روال موقعیت سینوسی(batch: صحیح، seq: صحیح، dim: صحیح): tensor.Tensor

جاسازی موقعیت سینوسی ترنسفورمر اصلی برای دسته و طول.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Sequence.salam

نرمال‌سازی لایه جدید `NewLayerNorm`

روال نرمال‌سازی لایه جدید(ps &: مخزن پارامتر، name: رشته، dim: صحیح): نرمال‌سازی لایه

نرمال‌سازی لایه با اندازه.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

نرمال‌سازی دسته جدید `NewBatchNorm`

روال نرمال‌سازی دسته جدید(ps &: مخزن پارامتر، name: رشته، channels: صحیح): نرمال‌سازی دسته

نرمال‌سازی دسته با کانال‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

نرمال‌سازی گروهی جدید `NewGroupNorm`

روال نرمال‌سازی گروهی جدید(ps &: مخزن پارامتر، name: رشته، channels: صحیح، groups: صحیح): نرمال‌سازی گروهی

نرمال‌سازی گروهی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

نرمال‌سازی جذر میانگین مربعات جدید `NewRMSNorm`

روال نرمال‌سازی جذر میانگین مربعات جدید(ps &: مخزن پارامتر، name: رشته، dim: صحیح): نرمال‌سازی جذر میانگین مربعات

نرمال‌سازی جذر میانگین مربعات.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

ذخیره نقطه بازرسی در بافر `SaveCheckpointBuf`

روال ذخیره نقطه بازرسی در بافر(ps &: مخزن پارامتر): compress.ByteBuf

پارامترها در بافر.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

بارگذاری نقطه بازرسی از بافر `LoadCheckpointBuf`

روال بارگذاری نقطه بازرسی از بافر(buf: compress.ByteBuf، ps &: مخزن پارامتر): منطقی

پارامترها از بافر.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

ذخیره نقطه بازرسی `SaveCheckpoint`

روال ذخیره نقطه بازرسی(path: رشته، ps &: مخزن پارامتر): منطقی

همه‌ی پارامترها را در پرونده ذخیره می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

بارگذاری نقطه بازرسی `LoadCheckpoint`

روال بارگذاری نقطه بازرسی(path: رشته، ps &: مخزن پارامتر): منطقی

پارامترها را از پرونده با نام بارگذاری می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: nn-Layers.salam

شبکه عصبی nn

گونه‌ها

پارامتر Parameter

مخزن پارامتر ParamStore

افزودن add

شمار count

عنصر at

صفر کردن گرادیان zero_grad

آزادسازی free

لایه خطی Linear

پیشرو forward

حافظه کوتاه‌مدت بلند LSTM

پیشرو forward

واحد بازگشتی دروازه‌دار GRU

پیشرو forward

لایه Layer

لایه یکسوساز ReluLayer

پیشرو forward

لایه گلو GeluLayer

پیشرو forward

لایه تانژانت هذلولی TanhLayer

پیشرو forward

ترتیبی Sequential

افزودن add

پیشرو forward

آزادسازی free

لایه پیچشی Conv2D

پیشرو forward

لایه بیشینه‌گیری MaxPool2D

پیشرو forward

لایه میانگین‌گیری AvgPool2D

پیشرو forward

توجه چندسر MultiHeadAttention

پیشرو forward

لایه رمزگذار ترنسفورمر TransformerEncoderLayer

پیشرو forward

حذف تصادفی Dropout

پیشرو forward

جاسازی Embedding

پیشرو forward

نرمال‌سازی لایه LayerNorm

پیشرو forward

نرمال‌سازی دسته BatchNorm

پیشرو forward

آزادسازی free

نرمال‌سازی گروهی GroupNorm

پیشرو forward

نرمال‌سازی جذر میانگین مربعات RMSNorm

پیشرو forward

روال‌ها

پیوند Bind

لایه خطی جدید NewLinear

لایه خطی بی‌بایاس NewLinearNoBias

حافظه کوتاه‌مدت بلند جدید NewLSTM

واحد بازگشتی دروازه‌دار جدید NewGRU

گام آخر LastStep

لایه پیچشی جدید NewConv2D

تخت‌سازی Flatten

ژاویر یکنواخت XavierUniform

ژاویر نرمال XavierNormal

کایمینگ یکنواخت KaimingUniform

کایمینگ نرمال KaimingNormal

توجه چندسر جدید NewMultiHeadAttention

لایه رمزگذار ترنسفورمر جدید NewTransformerEncoderLayer

ماسک علّی CausalMask

لایه رمزگشای ترنسفورمر جدید NewTransformerDecoderLayer

جاسازی جدید NewEmbedding

موقعیت سینوسی SinusoidalPositions

نرمال‌سازی لایه جدید NewLayerNorm

نرمال‌سازی دسته جدید NewBatchNorm

نرمال‌سازی گروهی جدید NewGroupNorm

نرمال‌سازی جذر میانگین مربعات جدید NewRMSNorm

ذخیره نقطه بازرسی در بافر SaveCheckpointBuf

بارگذاری نقطه بازرسی از بافر LoadCheckpointBuf

ذخیره نقطه بازرسی SaveCheckpoint

بارگذاری نقطه بازرسی LoadCheckpoint

شبکه عصبی `nn`

پارامتر `Parameter`

مخزن پارامتر `ParamStore`

افزودن `add`

شمار `count`

عنصر `at`

صفر کردن گرادیان `zero_grad`

آزادسازی `free`

لایه خطی `Linear`

پیشرو `forward`

حافظه کوتاه‌مدت بلند `LSTM`

پیشرو `forward`

واحد بازگشتی دروازه‌دار `GRU`

پیشرو `forward`

لایه `Layer`

لایه یکسوساز `ReluLayer`

پیشرو `forward`

لایه گلو `GeluLayer`

پیشرو `forward`

لایه تانژانت هذلولی `TanhLayer`

پیشرو `forward`

ترتیبی `Sequential`

افزودن `add`

پیشرو `forward`

آزادسازی `free`

لایه پیچشی `Conv2D`

پیشرو `forward`

لایه بیشینه‌گیری `MaxPool2D`

پیشرو `forward`

لایه میانگین‌گیری `AvgPool2D`

پیشرو `forward`

توجه چندسر `MultiHeadAttention`

پیشرو `forward`

لایه رمزگذار ترنسفورمر `TransformerEncoderLayer`

پیشرو `forward`

حذف تصادفی `Dropout`

پیشرو `forward`

جاسازی `Embedding`

پیشرو `forward`

نرمال‌سازی لایه `LayerNorm`

پیشرو `forward`

نرمال‌سازی دسته `BatchNorm`

پیشرو `forward`

آزادسازی `free`

نرمال‌سازی گروهی `GroupNorm`

پیشرو `forward`

نرمال‌سازی جذر میانگین مربعات `RMSNorm`

پیشرو `forward`

پیوند `Bind`

لایه خطی جدید `NewLinear`

لایه خطی بی‌بایاس `NewLinearNoBias`

حافظه کوتاه‌مدت بلند جدید `NewLSTM`

واحد بازگشتی دروازه‌دار جدید `NewGRU`

گام آخر `LastStep`

لایه پیچشی جدید `NewConv2D`

تخت‌سازی `Flatten`

ژاویر یکنواخت `XavierUniform`

ژاویر نرمال `XavierNormal`

کایمینگ یکنواخت `KaimingUniform`

کایمینگ نرمال `KaimingNormal`

توجه چندسر جدید `NewMultiHeadAttention`

لایه رمزگذار ترنسفورمر جدید `NewTransformerEncoderLayer`

ماسک علّی `CausalMask`

لایه رمزگشای ترنسفورمر جدید `NewTransformerDecoderLayer`

جاسازی جدید `NewEmbedding`

موقعیت سینوسی `SinusoidalPositions`

نرمال‌سازی لایه جدید `NewLayerNorm`

نرمال‌سازی دسته جدید `NewBatchNorm`

نرمال‌سازی گروهی جدید `NewGroupNorm`

نرمال‌سازی جذر میانگین مربعات جدید `NewRMSNorm`

ذخیره نقطه بازرسی در بافر `SaveCheckpointBuf`

بارگذاری نقطه بازرسی از بافر `LoadCheckpointBuf`

ذخیره نقطه بازرسی `SaveCheckpoint`

بارگذاری نقطه بازرسی `LoadCheckpoint`