انپیوای npy
خواندن و نوشتن پروندههای .npy و .npz نامپای.
واردسازی انپیوای
نام آرگومانها شناسهی خود کد است و معادل فارسی ندارد؛ گونهها، کلیدواژهها و نام بستهها با معادل فارسی نوشته میشوند.
پروندههای .npy قالب استاندارد ذخیرهی آرایههای NumPy در پایتوناند و .npz چند آرایهی نامدار را در یک بایگانی زیپ نگه میدارد. با این بسته میتوانید دادهها و وزنهای مدل را بین پایتون و سلام جابهجا کنید.
هر آرایه انپیوای سه بخش دارد: shape یعنی اندازهی هر بعد، data یعنی همهی عنصرها به شکل اعشار۶۴ و به ترتیب سطری (ترتیب C)، و dtype یعنی گونهی عنصری که پرونده اعلام کرده است. راهنمای زیر از کار رایج، یعنی جابهجا کردن یک ماتریس وزن میان NumPy و سلام، شروع میکند و به نقطهی ذخیره با چند آرایه، آرایههای بیش از دو بعد، ساختار خود پرونده و رفتار بسته با پروندههای خراب میرسد.
این بسته را در مرز با پایتون به کار ببرید: دادهی آموزشی که با NumPy یا pandas آماده شده، وزنهای مدلی که در PyTorch آموزش دیده و با NumPy بیرون آمده، یا نتیجههایی که میخواهید در پایتون نمودارشان را بکشید. درون سلام، آرایهها در یک ماتریس یا تانسور زندگی میکنند؛ برای پروندههای مدل در قالبهای دیگر اونیکس و جیجییواف را ببینید. برای جدولهایی که آدمها در صفحهگسترده باز میکنند، CSV با بستهی سی اس وی مناسبتر است.
چه چیزهایی پشتیبانی میشود
| خواندن | نوشتن | |
|---|---|---|
| گونهی عنصر | f8، f4، i1 تا i8، u1 تا u4، b1، کوچکانتها یا بزرگانتها | فقط <f8 |
| خوانده نمیشود | u8 (uint64)، f2 (float16)، عدد مختلط، رشته و آرایهی شیء: خطای پشتیبانی نشده (npy.dtype) | |
| ترتیب حافظه | ترتیب C؛ ترتیب Fortran برای یک یا دو بعد | ترتیب C |
.npz | هم numpy.savez و هم numpy.savez_compressed | بیفشردهسازی، مثل savez |
هر عنصر به اعشار۶۴ تبدیل میشود، پس مقدارهای int64 بزرگتر از ۲۵۳ (۹٬۰۰۷٬۱۹۹٬۲۵۴٬۷۴۰٬۹۹۲) رقمهای آخرشان را از دست میدهند.
ذخیرهی ماتریس برای NumPy و خواندن دوبارهی آن
از ماتریس یک ماتریس را به آرایه انپیوای تبدیل میکند و نوشتن پرونده انپیوای آن را مینویسد. در پایتون، numpy.load("weights.npy") این پرونده را به شکل آرایهی ۲ در ۳ از نوع float64 باز میکند. راه برگشت خواندن پرونده انپیوای و پس از آن به ماتریس است. هر دو شکست را گزارش میدهند: نوشتن پرونده انپیوای نادرست برمیگرداند و خواندن پرونده انپیوای خطا پرتاب میکند، پس برنامه آن را با تلاش صدا میزند.
واردسازی انپیوای
واردسازی ماتریس
تابع ریشه(): صحیح خطادار:
ناپایا وزن := ماتریس.صفرها(۲، ۳)
تکرار ۲ در ی:
تکرار ۳ در ج:
وزن.تنظیم(ی، ج، (ی * ۱۰ + ج) برگردان اعشار۶۴ / ۴.۰)
پایان
پایان
ناپایا آرایه := انپیوای.از ماتریس(وزن)
اگر انپیوای.نوشتن پرونده انپیوای(آرایه، "weights.npy") برابر نادرست:
سرچاپ "نوشتن weights.npy ممکن نشد"
برگشت ۱
پایان
ناپایا خوانده := تلاش انپیوای.خواندن پرونده انپیوای("weights.npy")
سرچاپ "شکل:"، خوانده.شکل، "عنصرها:"، خوانده.شمار()
ناپایا م := تلاش انپیوای.به ماتریس(خوانده)
تکرار م.سطرها در ی:
سرچاپ م.عنصر(ی، ۰)، م.عنصر(ی، ۱)، م.عنصر(ی، ۲)
پایان
سرچاپ "مقدارها یکساناند:"، ماتریس.مجموع(م) برابر ماتریس.مجموع(وزن)
ماتریس.آزادسازی(م)
ماتریس.آزادسازی(وزن)
خوانده.آزادسازی()
آرایه.آزادسازی()
برگشت ۰
پایانچند آرایه در یک نقطهی ذخیرهی .npz
یک مدل آموزشدیده بیش از یک آرایه دارد: وزنها، سوگیریها و شاید میانگین و پراکندگیای که ورودیها با آن مقیاس میشوند. نوشتن انپیزد همه را با نامهایی که در کلیدها میدهید در یک پروندهی .npz نگه میدارد؛ همان پروندهای که numpy.savez مینویسد و numpy.load به شکل یک دیکشنری برمیگرداند. فهرست انپیزد نشان میدهد پرونده چه دارد و خواندن انپیزد یک آرایه را با نامش بیرون میکشد. در نمونهی زیر یک لایهی خطی کوچک ذخیره، دوباره خوانده و برای پیشبینی به کار میرود.
واردسازی انپیوای
واردسازی ماتریس
تابع سطر(الف: اعشار۶۴، ب: اعشار۶۴): ماتریس.ماتریس:
ناپایا م := ماتریس.صفرها(۱، ۲)
م.تنظیم(۰، ۰، الف)
م.تنظیم(۰، ۱، ب)
برگشت م
پایان
تابع بارگذاری(مسیر: رشته، کلید: رشته): ماتریس.ماتریس خطادار:
ناپایا آرایه := تلاش انپیوای.خواندن انپیزد(مسیر، کلید)
دیرکن آرایه.آزادسازی()
برگشت تلاش انپیوای.به ماتریس(آرایه)
پایان
تابع ریشه(): صحیح خطادار:
ناپایا وزن := ماتریس.صفرها(۲، ۲)
وزن.تنظیم(۰، ۰، ۰.۵)
وزن.تنظیم(۰، ۱، -۱.۰)
وزن.تنظیم(۱، ۰، ۲.۰)
وزن.تنظیم(۱، ۱، ۰.۲۵)
ناپایا سوگیری := سطر(۱.۰، ۰.۰)
ناپایا کلیدها := وکتور {} برگردان وکتور<رشته>
کلیدها.بیفزا("W")
کلیدها.بیفزا("b")
ناپایا آرایهها := وکتور {} برگردان وکتور<انپیوای.آرایه انپیوای>
آرایهها.بیفزا(انپیوای.از ماتریس(وزن))
آرایهها.بیفزا(انپیوای.از ماتریس(سوگیری))
سرچاپ "ذخیره شد:"، انپیوای.نوشتن انپیزد("model.npz"، کلیدها، آرایهها)
سرچاپ "آرایههای پرونده:"، تلاش انپیوای.فهرست انپیزد("model.npz")
ناپایا وزن خوانده := تلاش بارگذاری("model.npz"، "W")
ناپایا سوگیری خوانده := تلاش بارگذاری("model.npz"، "b")
ناپایا نمونه := سطر(۳.۰، ۴.۰)
ناپایا حاصلضرب := ماتریس.ضرب ماتریسی(نمونه، وزن خوانده)
ناپایا پیشبینی := ماتریس.جمع بردار سطری(حاصلضرب، سوگیری خوانده)
سرچاپ "پیشبینی:"، پیشبینی.عنصر(۰، ۰)، پیشبینی.عنصر(۰، ۱)
تلاش:
بارگذاری("model.npz"، "gamma")
گرفتن خطا خ:
سرچاپ "gamma:"، خ.به رشته()
پایان
تکرار آرایهها.طول() در ی:
ناپایا آ := آرایهها.بگیر(ی)
آ.آزادسازی()
پایان
ماتریس.آزادسازی(وزن)
ماتریس.آزادسازی(سوگیری)
ماتریس.آزادسازی(وزن خوانده)
ماتریس.آزادسازی(سوگیری خوانده)
ماتریس.آزادسازی(نمونه)
ماتریس.آزادسازی(حاصلضرب)
ماتریس.آزادسازی(پیشبینی)
برگشت ۰
پایاندرخواست نامی که در پرونده نیست (اینجا gamma) خطای یافت نشد با کد npy.missing_key میدهد، پس برنامهی بارگذاری میتواند آن را بگیرد و به جای از کار افتادن روی یک نقطهی ذخیرهی قدیمی، مقدار پیشفرض بگذارد.
آرایههای بیش از دو بعد
پروندهی .npy میتواند هر تعداد بعد داشته باشد، مثلا دستهای از تصویرها به شکل (تعداد، ارتفاع، پهنا). بسته همه را میخواند و مینویسد، اما به ماتریس فقط یک یا دو بعد را میپذیرد (آرایهی یکبعدی یک سطر میشود) و در غیر این صورت خطای آرگومان نامعتبر میدهد. برای بعدهای بیشتر خودتان در data جای عنصر را حساب کنید: عنصر [i][j][k] در شکل (A, B, C) در خانهی (i * B + j) * C + k است.
واردسازی انپیوای
واردسازی ماتریس
تابع خانه(آ: انپیوای.آرایه انپیوای، ی: صحیح، ج: صحیح، ک: صحیح): اعشار۶۴:
سطرها := آ.شکل.بگیر(۱)
ستونها := آ.شکل.بگیر(۲)
برگشت آ.عنصرها.بگیر((ی * سطرها + ج) * ستونها + ک)
پایان
تابع ریشه(): صحیح خطادار:
ناپایا مکعب := انپیوای.آرایه انپیوای {}
مکعب.شکل.بیفزا(۲)
مکعب.شکل.بیفزا(۳)
مکعب.شکل.بیفزا(۴)
تکرار ۲۴ در ن: مکعب.عنصرها.بیفزا(ن برگردان اعشار۶۴) پایان
سرچاپ "شمار بعد:"، مکعب.شمار بعد()، "شمار:"، مکعب.شمار()
سرچاپ "مکعب[1][2][3] ="، خانه(مکعب، ۱، ۲، ۳)
تلاش:
انپیوای.به ماتریس(مکعب)
گرفتن خطا خ:
سرچاپ "سهبعدی به ماتریس:"، خ.به رشته()
پایان
انپیوای.نوشتن پرونده انپیوای(مکعب، "cube.npy")
ناپایا خوانده := تلاش انپیوای.خواندن پرونده انپیوای("cube.npy")
سرچاپ "خوانده شد:"، خوانده.شکل، خانه(خوانده، ۱، ۲، ۳)
ناپایا خط := انپیوای.آرایه انپیوای {}
خط.شکل.بیفزا(۴)
تکرار ۴ در ن: خط.عنصرها.بیفزا((ن * ن) برگردان اعشار۶۴) پایان
ناپایا م := تلاش انپیوای.به ماتریس(خط)
سرچاپ "یکبعدی به ماتریس:"، م.سطرها، "در"، م.ستونها، م.عنصر(۰، ۳)
ماتریس.آزادسازی(م)
خط.آزادسازی()
خوانده.آزادسازی()
مکعب.آزادسازی()
برگشت ۰
پایاندرون پروندهی .npy چیست
این قالب آنقدر ساده است که با دست هم میشود وارسیاش کرد: بایتهای جادویی \x93NUMPY، شمارهی نسخه، طول دوبایتی سرآیند، سپس سرآیندی که یک دیکشنری پایتون به شکل متن ساده و پرشده با فاصله است، و در پایان خود عنصرها. نوشتن انپیوای به جای پرونده، بایتها را در یک بافر بایت میدهد؛ برای فرستادن آرایه روی شبکه یا نگه داشتنش در پایگاه داده مناسب است.
واردسازی انپیوای
واردسازی فشرده سازی
واردسازی رشته
تابع ریشه(): صحیح خطادار:
ناپایا آرایه := انپیوای.آرایه انپیوای {}
آرایه.شکل.بیفزا(۳)
تکرار ۳ در ی: آرایه.عنصرها.بیفزا((ی + ۱) برگردان اعشار۶۴) پایان
ناپایا بافر := انپیوای.نوشتن انپیوای(آرایه)
سرچاپ "اندازهی پرونده:"، فشرده سازی.طول بافر(بافر)، "بایت"
سرچاپ "بایت جادویی:"، فشرده سازی.دریافت بایت(بافر، ۰)
طول سرآیند := فشرده سازی.دریافت بایت(بافر، ۸) + ۲۵۶ * فشرده سازی.دریافت بایت(بافر، ۹)
سرچاپ "نسخه:"، فشرده سازی.دریافت بایت(بافر، ۶)، "طول سرآیند:"، طول سرآیند
ناپایا سازنده := رشته.سازنده()
تکرار طول سرآیند در ی:
رشته.افزودن نویسه به بافر(سازنده، فشرده سازی.دریافت بایت(بافر، ۱۰ + ی))
پایان
متن := رشته.رشته بافر(سازنده)
سرچاپ "سرآیند:"، رشته.پیرایش راست(متن)
سرچاپ "بایتهای داده:"، فشرده سازی.طول بافر(بافر) - ۱۰ - طول سرآیند
ناپایا خوانده := تلاش انپیوای.خواندن انپیوای(بافر.داده، فشرده سازی.طول بافر(بافر))
سرچاپ خوانده.شکل، خوانده.عنصرها، خوانده.نوع داده برابر انپیوای.نوع اعشاری هشت
رشته.آزادسازی بافر(سازنده)
فشرده سازی.آزادسازی بافر(بافر)
خوانده.آزادسازی()
آرایه.آزادسازی()
برگشت ۰
پایانسرآیند محدودیتی را نشان میدهد که باید در نظر داشت: نویسنده همیشه '<f8'، یعنی اعشار ۶۴ بیتی با ترتیب کمارزشاول، مینویسد و به dtype نگاه نمیکند. در خواندن، پروندههایی با عنصرهای float32، صحیح یا bool هم پذیرفته میشوند؛ dtype میگوید چه بودهاند و data آنها را تبدیلشده به اعشار۶۴ نگه میدارد. اگر پایتون گونهی دیگری لازم دارد، پس از خواندن با arr.astype(numpy.float32) تبدیلش کنید.
پروندههای خراب، ناقص و ناموجود
همهی خوانندهها خطاداراند: هیچوقت آرایهی خالی یا نیمهپر برنمیگردد. پروندهای که وجود ندارد خطای یافت نشد است، پروندهای که اصلا .npy نیست npy.bad_magic، نوع عنصر ناشناخته npy.dtype، و پروندهای که در میانه بریده شده اتمام ناگهانی با کد npy.truncated و جایگاه بایت. نام پرونده در مسیر خطا میآید.
واردسازی انپیوای
واردسازی فشرده سازی
واردسازی ورودی خروجی
تابع آزمودن خواندن(مسیر: رشته):
تلاش:
ناپایا آ := انپیوای.خواندن پرونده انپیوای(مسیر)
سرچاپ مسیر، "->"، آ.شکل
آ.آزادسازی()
گرفتن خطا خ:
سرچاپ مسیر، "->"، خ.نام نوع()، "|"، خ.به رشته()
پایان
پایان
تابع ریشه:
ناپایا سالم := انپیوای.آرایه انپیوای {}
سالم.شکل.بیفزا(۲)
سالم.شکل.بیفزا(۲)
تکرار ۴ در ی: سالم.عنصرها.بیفزا(ی برگردان اعشار۶۴) پایان
انپیوای.نوشتن پرونده انپیوای(سالم، "good.npy")
ورودی خروجی.نوشتن پرونده("notes.npy"، "این فقط یک متن ساده است")
ناپایا بافر := انپیوای.نوشتن انپیوای(سالم)
ناپایا نیمه := فشرده سازی.بافر بایت جدید()
فشرده سازی.افزودن بایتها(نیمه، بافر.داده، فشرده سازی.طول بافر(بافر) - ۸)
تلاش:
انپیوای.خواندن انپیوای(نیمه.داده، فشرده سازی.طول بافر(نیمه))
گرفتن خطا خ:
سرچاپ "بریده ->"، خ.به رشته()، خ.کد
پایان
آزمودن خواندن("good.npy")
آزمودن خواندن("notes.npy")
آزمودن خواندن("missing.npy")
تلاش:
انپیوای.فهرست انپیزد("missing.npz")
گرفتن خطا خ:
سرچاپ "missing.npz ->"، خ.است(نوع خطا.یافت نشد)، خ.مسیر
پایان
فشرده سازی.آزادسازی بافر(نیمه)
فشرده سازی.آزادسازی بافر(بافر)
سالم.آزادسازی()
برگشت ۰
پایانهر آرایه انپیوای صاحب دو وکتور خودش است، پس در برنامهای که مدتها اجرا میشود، روی آرایههایی که دیگر لازم ندارید آزادسازی و روی ماتریسهای ساختهشده از آنها ماتریس.آزادسازی را صدا بزنید.
گونهها
آرایه انپیوای NpyArray
ساختار آرایه انپیوای| نام | انگلیسی | گونه | توضیح |
|---|---|---|---|
| شکل | shape | وکتور<صحیح> | اندازهی هر بعد، مثل [2, 3]. |
| نوع داده | dtype | صحیح | گونهی داده در پرونده؛ یکی از ثابتهای نوع. |
| عنصرها | data | وکتور<اعشار۶۴> | عنصرها به ترتیب سطری. |
واردسازی انپیوای
واردسازی ماتریس
تابع ریشه خطادار:
ناپایا م := ماتریس.ماتریس { سطرها = ۲، ستونها = ۳ }
تکرار ۶ در ای:
م.درایهها.بیفزا(ای برگردان اعشار۶۴)
پایان
ناپایا آ := انپیوای.از ماتریس(م)
سرچاپ آ.شکل، آ.شمار بعد()، آ.شمار()، آ.نوع داده == انپیوای.نوع اعشاری هشت
ب := انپیوای.نوشتن انپیوای(آ)
سرچاپ ب.طول > ۶۴
ناپایا خوانده := تلاش انپیوای.خواندن انپیوای(ب.داده، ب.طول)
سرچاپ خوانده.شکل، خوانده.عنصرها
م۲ := تلاش انپیوای.به ماتریس(خوانده)
سرچاپ م۲.عنصر(۱، ۲)
سرچاپ انپیوای.نوشتن پرونده انپیوای(آ، "a.npy")
ناپایا از پرونده := تلاش انپیوای.خواندن پرونده انپیوای("a.npy")
سرچاپ از پرونده.شمار()
ناپایا کلیدها := وکتور {} برگردان وکتور<رشته>
کلیدها.بیفزا("x")
کلیدها.بیفزا("y")
ناپایا آرایهها := وکتور {} برگردان وکتور<انپیوای.آرایه انپیوای>
آرایهها.بیفزا(آ)
آرایهها.بیفزا(خوانده)
سرچاپ انپیوای.نوشتن انپیزد("ab.npz"، کلیدها، آرایهها)
سرچاپ تلاش انپیوای.فهرست انپیزد("ab.npz")
ناپایا ی := تلاش انپیوای.خواندن انپیزد("ab.npz"، "y")
سرچاپ ی.شکل
تلاش:
انپیوای.خواندن انپیزد("ab.npz"، "z")
گرفتن خطا خ:
سرچاپ خ.کد
پایان
سرچاپ انپیوای.نوع اعشاری چهار، انپیوای.نوع صحیح یک، انپیوای.نوع صحیح دو، انپیوای.نوع صحیح چهار، انپیوای.نوع صحیح هشت، انپیوای.نوع بیعلامت یک، انپیوای.نوع بیعلامت دو، انپیوای.نوع بیعلامت چهار، انپیوای.نوع دودویی
ی.آزادسازی()
از پرونده.آزادسازی()
خوانده.آزادسازی()
آ.آزادسازی()
پایانشمار بعد Ndim
تابع شمار بعد(): صحیحشمار بعد ndim
تابع شمار بعد(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
شمار Count
تابع شمار(): صحیحشمار count
تابع شمار(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
آزادسازی Free
تابع آزادسازی()آزادسازی free
تابع آزادسازی()نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
پایاها و متغیرها
گونههای داده NPY_…
| نام | انگلیسی | مقدار |
|---|---|---|
| نوع اعشاری هشت | NPY_F64 | 0 |
| نوع اعشاری چهار | NPY_F32 | 1 |
| نوع صحیح یک | NPY_I8 | 2 |
| نوع صحیح دو | NPY_I16 | 3 |
| نوع صحیح چهار | NPY_I32 | 4 |
| نوع صحیح هشت | NPY_I64 | 5 |
| نوع بیعلامت یک | NPY_U8 | 6 |
| نوع بیعلامت دو | NPY_U16 | 7 |
| نوع بیعلامت چهار | NPY_U32 | 8 |
| نوع دودویی | NPY_BOOL | 9 |
نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
تابعها
خواندن انپیوای ReadNpy
تابع خواندن انپیوای(p: تهی*، n: صحیح): Throws<آرایه انپیوای>.npy را از حافظه میخواند. برای بایتهای جادویی نادرست، نسخه یا نوع پشتیبانینشده، سرآیند خراب یا دادهای که زود تمام شود خطا میدهد.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
خواندن پرونده انپیوای ReadNpyFile
تابع خواندن پرونده انپیوای(path: رشته): Throws<آرایه انپیوای>.npy را میخواند. اگر پرونده باز نشود یافت نشد و در غیر این صورت خطاهای خواندن انپیوای را میدهد، با نام پرونده در مسیر.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
نوشتن انپیوای WriteNpy
تابع نوشتن انپیوای(a &: آرایه انپیوای): فشرده سازی.بافر بایت.npy تبدیل میکند.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
نوشتن پرونده انپیوای WriteNpyFile
تابع نوشتن پرونده انپیوای(a &: آرایه انپیوای، path: رشته): منطقی.npy مینویسد.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
به ماتریس ToMatrix
تابع به ماتریس(a &: آرایه انپیوای): Throws<ماتریس.ماتریس>آرگومان نامعتبر میدهد.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
از ماتریس FromMatrix
تابع از ماتریس(m &: ماتریس.ماتریس): آرایه انپیواینمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
فهرست انپیزد NpzList
تابع فهرست انپیزد(path: رشته): Throws<وکتور<رشته>>.npz. اگر پرونده باز نشود یا بایگانی zip نباشد خطا میدهد.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
خواندن انپیزد NpzRead
تابع خواندن انپیزد(path: رشته، key: رشته): Throws<آرایه انپیوای>.npz میخواند؛ نام را بدون .npy بدهید، همانطور که کلیدهای numpy.savez هستند. پروندههای فشردهی savez_compressed هم خوانده میشوند. اگر چنین آرایهای نباشد خطای npy.missing_key میدهد.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam
نوشتن انپیزد NpzWrite
تابع نوشتن انپیزد(path: رشته، keys &: وکتور<رشته>، arrays &: وکتور<آرایه انپیوای>): منطقی.npz بیفشردهسازی مینویسد. keys و arrays به یک ترتیب میآیند.نمونهی این مورد همراه با موارد بالاتر آمده است: npy-Npy.salam