کتابخانه‌ی استاندارد · کدگذاری و داده

داده data

خواندن داده برای یادگیری ماشین: جدول CSV، دسته‌بندی نمونه‌ها، MNIST و تصویر، و داده‌ی مصنوعی.

واردسازی داده

نام آرگومان‌ها شناسه‌ی خود کد است و معادل فارسی ندارد؛ گونه‌ها، کلیدواژه‌ها و نام بسته‌ها با معادل فارسی نوشته می‌شوند.

این بسته داده را برای آموزش مدل آماده می‌کند. بارگذاری سی‌اس‌وی یک پرونده‌ی CSV را در یک جدول می‌خواند، برای هر ستون تصمیم می‌گیرد که صحیح، اعشاری، رده‌ای یا متن آزاد است و ستون‌های رده‌ای را خودکار به عدد تبدیل می‌کند؛ سپس جداسازی ویژگی از برچسب جدول را به ماتریس ویژگی‌ها و برچسب تقسیم می‌کند. مجموعه‌داده ماتریسی سطرها را در دسته‌های کوچک و درهم‌ریخته می‌دهد، بارگذاری ام‌نیست، بارگذاری آی‌دی‌ایکس و بارگذاری پوشه تصویر مجموعه‌های تصویر را می‌خوانند و تابع‌های ساخت ... داده‌ی مصنوعی با بذر ثابت می‌سازند، برای آزمودن الگوریتم‌ها بدون پرونده.

خروجی همه‌ی این‌ها یک ماتریس یا تانسور است، آماده برای یادگیری ماشین و شبکه عصبی. برای خواندن خانه‌به‌خانه‌ی CSV به شکل متن، بسته‌ی سی اس وی را به کار ببرید؛ برای صفحه‌گسترده‌ها اکسل را؛ و برای آرایه‌هایی که NumPy ذخیره کرده، ان‌پی‌وای را.

اشتباه‌های رایج

  • کد رده‌ها به پرونده بستگی دارد. کدها به ترتیب نخستین ظهور داده می‌شوند، پس red ممکن است در پرونده‌ی آموزش ۰ و در پرونده‌ی آزمون ۲ باشد، و ستونی با ۲۵ مقدار متفاوت ممکن است در یک پرونده رده‌ای و در دیگری متنی باشد. همه‌ی سطرها را از یک پرونده بخوانید و تقسیمشان کنید، همان‌طور که راهنمای داده‌ی آزمون می‌کند، یا پرونده‌های تازه را با سطوح رده‌ای جدول آموزش نگاشت کنید.
  • یک خانه‌ی خراب گونه‌ی ستون را عوض می‌کند. فقط یک 12,5 یا n/a در ستون عددی کل ستون را رده‌ای یا متنی می‌کند. پس از بارگذاری kinds را بررسی کنید.
  • خانه‌های خالی در ستون عددی NaN می‌شوند، ولی در ستون رده‌ای یک رده‌ی جدا، یعنی رشته‌ی خالی.
  • فقط ویرگول. جداکننده همیشه , است؛ پرونده‌های نقطه‌ویرگولی یا جدول‌بندی‌شده با تب را اول تبدیل کنید، مثلاً با بسته‌ی سی اس وی.

راهنمای زیر ترتیب یک پروژه‌ی کوچک یادگیری ماشین را دنبال می‌کند: بارگذاری یک پرونده‌ی CSV و دیدن این‌که هر ستون چگونه خوانده شده، جدا کردن ویژگی‌ها از برچسب و برازش نخستین مدل، آموزش با دسته‌های کوچک، کنار گذاشتن داده‌ی آزمون و خواندن قالب پرونده‌های MNIST.

بارگذاری سی‌اس‌وی هر ستون را چگونه می‌خواند

بارگذاری سی‌اس‌وی به همه‌ی مقدارهای یک ستون نگاه می‌کند و گونه‌اش را خودش انتخاب می‌کند. اگر همه عدد صحیح باشند ستون صحیح و اگر همه عدد باشند ستون اعشاری می‌شود. متنی که شمار مقدارهای گوناگونش محدود است (حداکثر ۲۰، یا یک‌دهم سطرها اگر بیشتر باشد، و کمتر از شمار سطرها) ستون رده‌ای می‌شود: هر مقدار به ترتیب نخستین ظهور کدی از ۰ می‌گیرد و سطوح رده‌ای نام‌ها را پس می‌دهد. متنی که در هر سطر متفاوت است، مثل یک نظر آزاد، ستون رشته‌ای می‌ماند. خانه‌ی خالی در ستون عددی به شکل NaN ذخیره می‌شود که ریاضی.نامعدد است تشخیصش می‌دهد؛ در ستون رده‌ای یک رده‌ی جداگانه می‌شود. نام ستون‌ها و مقدارهای فارسی هم بی‌هیچ تنظیمی کار می‌کنند.

data-columns.salam
واردسازی داده
واردسازی ماتریس
واردسازی ریاضی

تابع نام نوع ستون(کد نوع: صحیح): رشته:
    اگر کد نوع برابر داده.ستون صحیح: برگشت "صحیح" پایان
    اگر کد نوع برابر داده.ستون اعشاری: برگشت "اعشاری" پایان
    اگر کد نوع برابر داده.ستون رده‌ای: برگشت "رده‌ای" پایان
    برگشت "متن"
پایان

تابع ریشه(): صحیح خطادار:
    متن := "شناسه,شهر,سن,درآمد,نظر\n1,تهران,34,2.5,ارسال سریع\n2,شیراز,,3.1,خوب\n3,تهران,51,4.0,دیر رسید\n4,تبریز,28,1.9,قیمت مناسب\n"
    ناپایا جدول := تلاش داده.بارگذاری سی‌اس‌وی(متن، درست)
    هر ی، نام در جدول.نام‌ها:
        سرچاپ نام، "->"، نام نوع ستون(جدول.گونه‌ها.بگیر(ی))
    پایان
    رده‌ها := جدول.سطوح رده‌ای("شهر")
    سرچاپ "رده‌های شهر:"، رده‌ها
    شهر := جدول.نمایه ستون("شهر")
    سن := جدول.نمایه ستون("سن")
    تکرار جدول.سطرها() در ی:
        کد := جدول.خانه‌ها.عنصر(ی، شهر) برگردان صحیح
        ناپایا وضعیت := "ناموجود"
        اگر ریاضی.نامعدد است(جدول.خانه‌ها.عنصر(ی، سن)) برابر نادرست: وضعیت = "معلوم" پایان
        سرچاپ "سطر"، ی، "کد شهر"، کد، "="، رده‌ها.بگیر(کد)، "سن"، وضعیت
    پایان
    ناپایا م := جدول.به ماتریس()
    سرچاپ "به ماتریس"، م.ستون‌ها، "ستون از"، جدول.ستون‌ها()، "ستون را نگه می‌دارد"
    ناپایا یک‌داغ := ماتریس.صفرها(جدول.سطرها()، رده‌ها.طول())
    تکرار جدول.سطرها() در ی: یک‌داغ.تنظیم(ی، جدول.خانه‌ها.عنصر(ی، شهر) برگردان صحیح، ۱.۰) پایان
    سرچاپ "سطر ۳ یک‌داغ:"، یک‌داغ.عنصر(۳، ۰)، یک‌داغ.عنصر(۳، ۱)، یک‌داغ.عنصر(۳، ۲)
    ماتریس.آزادسازی(یک‌داغ)
    ماتریس.آزادسازی(م)
    جدول.آزادسازی()
    برگشت ۰
پایان
خروجیشناسه -> صحیح شهر -> رده‌ای سن -> صحیح درآمد -> اعشاری نظر -> متن رده‌های شهر: ["تهران", "شیراز", "تبریز"] سطر 0 کد شهر 0 = تهران سن معلوم سطر 1 کد شهر 1 = شیراز سن ناموجود سطر 2 کد شهر 0 = تهران سن معلوم سطر 3 کد شهر 2 = تبریز سن معلوم به ماتریس 4 ستون از 5 ستون را نگه می‌دارد سطر ۳ یک‌داغ: 0 0 1

به ماتریس و جداسازی ویژگی از برچسب ستون‌های ستون رشته‌ای را کنار می‌گذارند و برای همین پنج ستون چهار ستون می‌شود. رده با کدش ذخیره می‌شود که برای درخت تصمیم مناسب است؛ برای مدل خطی یا شبکه‌ی عصبی، مثل سطرهای آخر برنامه، از روی کد ستون‌های یک‌داغ بسازید.

از پرونده‌ی CSV تا نخستین مدل

جداسازی ویژگی از برچسب نام ستون برچسب را می‌گیرد و دو ماتریس را پر می‌کند: همه‌ی ستون‌های قابل استفاده‌ی دیگر به عنوان ویژگی، و برچسب به شکل ماتریسی تک‌ستونی. اگر ستون برچسب نباشد یا متن ساده باشد نادرست برمی‌گرداند. این دقیقا همان شکلی است که تابع‌های ماتریس می‌خواهند، پس برازش کمترین مربعات با ماتریس.رگرسیون خطی فقط یک سطر دیگر است. در نتیجه‌ی آن اول عرض از مبدا و بعد برای هر ویژگی یک ضریب می‌آید.

data-regression.salam
واردسازی داده
واردسازی ماتریس
واردسازی تبدیل

تابع ریشه(): صحیح خطادار:
    متن := "متراژ,اتاق,قیمت\n50,1,105\n70,2,147\n80,2,164\n100,3,208\n120,3,244\n150,4,305\n"
    ناپایا جدول := تلاش داده.بارگذاری سی‌اس‌وی(متن، درست)
    ناپایا ویژگی := ماتریس.ماتریس {}
    ناپایا برچسب := ماتریس.ماتریس {}
    اگر جدول.جداسازی ویژگی از برچسب("قیمت"، ویژگی، برچسب) برابر نادرست:
        سرچاپ "ستون قیمت پیدا نشد"
        برگشت ۱
    پایان
    سرچاپ "ویژگی‌ها:"، ویژگی.سطرها، "در"، ویژگی.ستون‌ها، "برچسب:"، برچسب.سطرها، "در"، برچسب.ستون‌ها
    ناپایا ضریب := ماتریس.رگرسیون خطی(ویژگی، برچسب)
    سرچاپ "عرض از مبدا:"، تبدیل.قالب اعشار با دقت(ضریب.عنصر(۰، ۰)، ۲)
    سرچاپ "هر متر مربع:"، تبدیل.قالب اعشار با دقت(ضریب.عنصر(۱، ۰)، ۲)
    سرچاپ "هر اتاق:"، تبدیل.قالب اعشار با دقت(ضریب.عنصر(۲، ۰)، ۲)
    حدس := ضریب.عنصر(۰، ۰) + ۹۰.۰ * ضریب.عنصر(۱، ۰) + ۲.۰ * ضریب.عنصر(۲، ۰)
    سرچاپ "۹۰ متر با ۲ اتاق:"، تبدیل.قالب اعشار با دقت(حدس، ۱)
    ماتریس.آزادسازی(ضریب)
    ماتریس.آزادسازی(ویژگی)
    ماتریس.آزادسازی(برچسب)
    جدول.آزادسازی()
    برگشت ۰
پایان
خروجیویژگی‌ها: 6 در 2 برچسب: 6 در 1 عرض از مبدا: 7.33 هر متر مربع: 1.81 هر اتاق: 6.44 ۹۰ متر با ۲ اتاق: 183.2

آموزش با دسته‌های کوچک

گرادیان کاهشی روی داده‌ی بزرگ هر بار فقط چند سطر را می‌بیند. ویژگی‌ها و برچسب‌ها را در یک مجموعه‌داده ماتریسی بگذارید، از آن دسته‌ها(اندازه، درهم‌ریختن، بذر) را بخواهید و بعدی را تا وقتی نادرست برنگردانده صدا بزنید؛ هر فراخوانی دو ماتریسی را که می‌دهید با دسته‌ی بعدی جایگزین می‌کند. بازنشانی(دور) دور تازه‌ای را شروع می‌کند و با بذر به اضافه‌ی شماره‌ی دور دوباره درهم می‌ریزد، پس هر دور ترتیب دیگری می‌بیند ولی اجرا دقیقا تکرارپذیر است. ساخت رگرسیون مسئله‌ای آزمایشی با ضریب‌های واقعی معلوم می‌سازد تا ببینید آموزش آن‌ها را پیدا کرده است.

data-minibatch.salam
واردسازی داده
واردسازی ماتریس
واردسازی تبدیل

تابع ریشه:
    ناپایا برچسب := ماتریس.ماتریس {}
    ناپایا ضریب‌ها := ماتریس.ماتریس {}
    ویژگی := داده.ساخت رگرسیون(۲۰۰، ۳، ۰.۰۵، ۱۱، برچسب، ضریب‌ها)
    ناپایا مجموعه := داده.مجموعه‌داده ماتریسی { ویژگی‌ها = ویژگی، برچسب‌ها = برچسب }
    ناپایا وزن := ماتریس.صفرها(۳، ۱)
    ناپایا پیمایشگر := مجموعه.دسته‌ها(۲۰، درست، ۷)
    ناپایا دسته ویژگی := ماتریس.ماتریس {}
    ناپایا دسته برچسب := ماتریس.ماتریس {}
    تکرار ۵ در دور:
        پیمایشگر.بازنشانی(دور برگردان صحیح۶۴)
        ناپایا زیان := ۰.۰
        تا پیمایشگر.بعدی(دسته ویژگی، دسته برچسب):
            ناپایا پیش‌بینی := ماتریس.ضرب ماتریسی(دسته ویژگی، وزن)
            ناپایا تفاوت := ماتریس.تفریق(پیش‌بینی، دسته برچسب)
            ناپایا گرادیان := ماتریس.ضرب ترانهاده(دسته ویژگی، تفاوت)
            ماتریس.جمع مقیاس‌دار(وزن، گرادیان، -۰.۱ / (دسته ویژگی.سطرها برگردان اعشار۶۴))
            زیان += ماتریس.ضرب داخلی(تفاوت، تفاوت)
            ماتریس.آزادسازی(پیش‌بینی)
            ماتریس.آزادسازی(تفاوت)
            ماتریس.آزادسازی(گرادیان)
        پایان
        سرچاپ "دور"، دور + ۱، "دسته‌ها"، پیمایشگر.شمار دسته در دور()، "زیان"، تبدیل.قالب اعشار با دقت(زیان / (مجموعه.طول() برگردان اعشار۶۴)، ۴)
    پایان
    تکرار ۳ در ی:
        سرچاپ "w" + ی، "آموخته"، تبدیل.قالب اعشار با دقت(وزن.عنصر(ی، ۰)، ۲)، "واقعی"، تبدیل.قالب اعشار با دقت(ضریب‌ها.عنصر(ی، ۰)، ۲)
    پایان
    ماتریس.آزادسازی(دسته ویژگی)
    ماتریس.آزادسازی(دسته برچسب)
    ماتریس.آزادسازی(وزن)
    ماتریس.آزادسازی(ضریب‌ها)
    پیمایشگر.آزادسازی()
    مجموعه.آزادسازی()
    برگشت ۰
پایان
خروجیدور 1 دسته‌ها 10 زیان 0.5009 دور 2 دسته‌ها 10 زیان 0.0808 دور 3 دسته‌ها 10 زیان 0.0147 دور 4 دسته‌ها 10 زیان 0.0041 دور 5 دسته‌ها 10 زیان 0.0024 w0 آموخته -0.86 واقعی -0.88 w1 آموخته -0.54 واقعی -0.54 w2 آموخته -0.26 واقعی -0.25

بعدی ماتریس‌هایی را که می‌گیرد پیش از پر کردن آزاد می‌کند، پس هر بار همان دو متغیر را بدهید و پس از حلقه یک بار آزادشان کنید.

کنار گذاشتن داده‌ی آزمون

مدل را باید روی سطرهایی سنجید که هرگز ندیده است. ساده‌ترین جداسازی از همان پیمایشگر دسته استفاده می‌کند: یک بار با بذر ثابت درهم بریزید، دسته‌ی اول را به اندازه‌ی داده‌ی آموزش و دسته‌ی دوم را با باقی سطرها بگیرید. این‌جا یک ردهبند نزدیک‌ترین مرکز، مرکز هر یک از سه خوشه‌ی ساخت خوشه‌ها را یاد می‌گیرد و روی ۳۰ نقطه‌ی کنارگذاشته نمره می‌گیرد.

data-split.salam
واردسازی داده
واردسازی ماتریس

تابع نزدیک‌ترین(مرکزها: ماتریس.ماتریس، نقطه‌ها: ماتریس.ماتریس، ی: صحیح): صحیح:
    ناپایا بهترین := ۰
    ناپایا کمترین فاصله := -۱.۰
    تکرار مرکزها.سطرها در م:
        ناپایا فاصله := ۰.۰
        تکرار نقطه‌ها.ستون‌ها در ج:
            اختلاف := نقطه‌ها.عنصر(ی، ج) - مرکزها.عنصر(م، ج)
            فاصله += اختلاف * اختلاف
        پایان
        اگر کمترین فاصله کوچکتر ۰.۰ یا فاصله کوچکتر کمترین فاصله:
            بهترین = م
            کمترین فاصله = فاصله
        پایان
    پایان
    برگشت بهترین
پایان

تابع ریشه:
    ناپایا برچسب := ماتریس.ماتریس {}
    نقطه‌ها := داده.ساخت خوشه‌ها(۱۲۰، ۳، ۲، ۱.۰، ۵، برچسب)
    ناپایا مجموعه := داده.مجموعه‌داده ماتریسی { ویژگی‌ها = نقطه‌ها، برچسب‌ها = برچسب }
    ناپایا پیمایشگر := مجموعه.دسته‌ها(۹۰، درست، ۱)
    ناپایا ویژگی آموزش := ماتریس.ماتریس {}
    ناپایا آموزش برچسب := ماتریس.ماتریس {}
    ناپایا ویژگی آزمون := ماتریس.ماتریس {}
    ناپایا آزمون برچسب := ماتریس.ماتریس {}
    پیمایشگر.بعدی(ویژگی آموزش، آموزش برچسب)
    پیمایشگر.بعدی(ویژگی آزمون، آزمون برچسب)
    سرچاپ "آموزش:"، ویژگی آموزش.سطرها، "آزمون:"، ویژگی آزمون.سطرها
    ناپایا مرکزها := ماتریس.صفرها(۳، ۲)
    ناپایا اندازه‌ها := ماتریس.صفرها(۳، ۱)
    تکرار ویژگی آموزش.سطرها در ی:
        خوشه := آموزش برچسب.عنصر(ی، ۰) برگردان صحیح
        تکرار ۲ در ج: مرکزها.تنظیم(خوشه، ج، مرکزها.عنصر(خوشه، ج) + ویژگی آموزش.عنصر(ی، ج)) پایان
        اندازه‌ها.تنظیم(خوشه، ۰، اندازه‌ها.عنصر(خوشه، ۰) + ۱.۰)
    پایان
    تکرار ۳ در خوشه:
        تکرار ۲ در ج: مرکزها.تنظیم(خوشه، ج، مرکزها.عنصر(خوشه، ج) / اندازه‌ها.عنصر(خوشه، ۰)) پایان
    پایان
    ناپایا درست‌ها := ۰
    تکرار ویژگی آزمون.سطرها در ی:
        اگر نزدیک‌ترین(مرکزها، ویژگی آزمون، ی) برابر آزمون برچسب.عنصر(ی، ۰) برگردان صحیح: درست‌ها++ پایان
    پایان
    سرچاپ "درست روی نقطه‌های ندیده:"، درست‌ها، "از"، ویژگی آزمون.سطرها
    هر م در [ویژگی آموزش، آموزش برچسب، ویژگی آزمون، آزمون برچسب، مرکزها، اندازه‌ها]:
        ناپایا موقت := م
        ماتریس.آزادسازی(موقت)
    پایان
    پیمایشگر.آزادسازی()
    مجموعه.آزادسازی()
    برگشت ۰
پایان
خروجیآموزش: 90 آزمون: 30 درست روی نقطه‌های ندیده: 25 از 30

با بذر دیگر جداسازی دیگر و عددهای کمی متفاوت به دست می‌آید. برای مقایسه‌ی منصفانه‌ی دو مدل، برای هر دو همان بذر را به کار ببرید.

قالب پرونده‌های MNIST

MNIST و بسیاری از مجموعه‌های تصویری که از آن پیروی می‌کنند قالب IDX را به کار می‌برند: یک عدد جادویی که بایت سومش گونه‌ی عنصر و بایت چهارمش شمار بعدهاست، اندازه‌ی هر بعد به شکل عدد ۳۲ بیتی با ترتیب پرارزش‌اول، و سپس خود بایت‌ها. بارگذاری ام‌نیست یک پرونده‌ی تصویر و یک پرونده‌ی برچسب را به ماتریسی با یک تصویر در هر سطر (پیکسل‌ها از ۰ تا ۲۵۵ به ۰ تا ۱ مقیاس می‌شوند) و ماتریس تک‌ستونی برچسب‌ها می‌خواند. بارگذاری آی‌دی‌ایکس هر پرونده‌ی IDX را همان‌طور که هست می‌خواند. برنامه سه تصویر کوچک ۲ در ۲ را خودش می‌نویسد تا بدون بارگیری اجرا شود؛ برای مجموعه‌ی واقعی همین فراخوانی را به train-images-idx3-ubyte و train-labels-idx1-ubyte بدهید.

data-mnist-format.salam
واردسازی داده
واردسازی ماتریس
واردسازی فشرده سازی
واردسازی بایگانی
واردسازی کدگذاری.دودویی
واردسازی تبدیل

تابع نوشتن آی‌دی‌ایکس(مسیر: رشته، بعدها: وکتور<صحیح>، مقدارها: وکتور<صحیح>): منطقی:
    ناپایا بافر := فشرده سازی.بافر بایت جدید()
    دودویی.نوشتن طبیعی۸(بافر، ۰)
    دودویی.نوشتن طبیعی۸(بافر، ۰)
    دودویی.نوشتن طبیعی۸(بافر، ۸)
    دودویی.نوشتن طبیعی۸(بافر، بعدها.طول())
    هر ب در بعدها: دودویی.نوشتن طبیعی۳۲ بزرگ‌انتها(بافر، ب) پایان
    هر م در مقدارها: دودویی.نوشتن طبیعی۸(بافر، م) پایان
    خوب := بایگانی.نوشتن پرونده دودویی از بافر(مسیر، بافر)
    فشرده سازی.آزادسازی بافر(بافر)
    برگشت خوب
پایان

تابع ریشه(): صحیح خطادار:
    ناپایا بعدها := وکتور {} برگردان وکتور<صحیح>
    بعدها.بیفزا(۳)
    بعدها.بیفزا(۲)
    بعدها.بیفزا(۲)
    ناپایا پیکسل‌ها := وکتور {} برگردان وکتور<صحیح>
    تکرار ۱۲ در ی: پیکسل‌ها.بیفزا(ی * ۲۰) پایان
    نوشتن آی‌دی‌ایکس("images.idx"، بعدها، پیکسل‌ها)
    ناپایا تعداد := وکتور {} برگردان وکتور<صحیح>
    تعداد.بیفزا(۳)
    ناپایا برچسب‌ها := وکتور {} برگردان وکتور<صحیح>
    برچسب‌ها.بیفزا(۷)
    برچسب‌ها.بیفزا(۲)
    برچسب‌ها.بیفزا(۷)
    نوشتن آی‌دی‌ایکس("labels.idx"، تعداد، برچسب‌ها)
    ناپایا تصویرها := ماتریس.ماتریس {}
    ناپایا رده‌ها := ماتریس.ماتریس {}
    تلاش داده.بارگذاری ام‌نیست("images.idx"، "labels.idx"، تصویرها، رده‌ها)
    سرچاپ "تصویرها:"، تصویرها.سطرها، "پیکسل هر کدام:"، تصویرها.ستون‌ها، "برچسب‌ها:"، رده‌ها.سطرها
    تکرار تصویرها.سطرها در ی:
        سرچاپ "برچسب"، رده‌ها.عنصر(ی، ۰)، "پیکسل‌ها"، تبدیل.قالب اعشار با دقت(تصویرها.عنصر(ی، ۰)، ۳)، تبدیل.قالب اعشار با دقت(تصویرها.عنصر(ی، ۳)، ۳)
    پایان
    خام := تلاش داده.بارگذاری آی‌دی‌ایکس("images.idx")
    سرچاپ "مقدار خام پیکسل آخر:"، خام.عنصر(۲، ۳)
    تلاش:
        داده.بارگذاری ام‌نیست("images.idx"، "missing.idx"، تصویرها، رده‌ها)
    گرفتن خطا خ:
        سرچاپ "بدون برچسب:"، خ.به رشته()
    پایان
    ماتریس.آزادسازی(تصویرها)
    ماتریس.آزادسازی(رده‌ها)
    برگشت ۰
پایان
خروجیتصویرها: 3 پیکسل هر کدام: 4 برچسب‌ها: 3 برچسب 7 پیکسل‌ها 0.000 0.235 برچسب 2 پیکسل‌ها 0.314 0.549 برچسب 7 پیکسل‌ها 0.627 0.863 مقدار خام پیکسل آخر: 220 بدون برچسب: idx: cannot open file at missing.idx

هر دو خواننده خطاداراند: پرونده‌ای که نیست یافت نشد با نام پرونده در مسیر است، پرونده‌ای که IDX نیست idx.bad_magic، پرونده‌ی بریده اتمام ناگهانی با جایگاه بایت، و تصویر و برچسب با طول‌های ناهمسان idx.mismatch. هیچ‌وقت ماتریس نیمه‌پر نمی‌گیرید.

گونه‌ها

پیمایشگر دسته BatchIter

ساختار پیمایشگر دسته
پیمایشگر دسته‌ها.
نامانگلیسیگونهتوضیح
ویژگی‌هاxماتریس.ماتریسویژگی‌ها.
برچسب‌هاyماتریس.ماتریسبرچسب‌ها.
اندازه دستهbatchصحیح = 32اندازه‌ی دسته.
درهم‌ریزیshuffleمنطقی = درستبه‌هم ریختن ترتیب.
بذرseedصحیح۶۴ = 0بذر به‌هم ریختن.
ترتیبorderوکتور<صحیح>ترتیب نمونه‌ها در این دور.
جایگاهposصحیح = 0جای فعلی.
data-Batch.salam
واردسازی داده
واردسازی ماتریس
واردسازی هوش مصنوعی.تانسور

تابع ریشه خطادار:
    ناپایا وای := ماتریس.ماتریس {}
    ناپایا ایکس := داده.ساخت خوشه‌ها(۱۰، ۲، ۳، ۰.۲، ۱، وای)
    ناپایا م := داده.مجموعه‌داده ماتریسی { ویژگی‌ها = ایکس، برچسب‌ها = وای }
    سرچاپ م.طول()
    ناپایا پ := م.دسته‌ها(۴، نادرست، ۰)
    سرچاپ پ.شمار دسته در دور()
    ناپایا بخش‌ایکس := ماتریس.ماتریس {}
    ناپایا بخش‌وای := ماتریس.ماتریس {}
    تا پ.بعدی(بخش‌ایکس، بخش‌وای):
        سرچاپ بخش‌ایکس.سطرها، بخش‌ایکس.ستون‌ها، بخش‌وای.سطرها
    پایان
    پ.بازنشانی(۱)
    ناپایا ت := تانسور.تانسور {}
    ناپایا برچسب := وکتور {} برگردان وکتور<صحیح>
    سرچاپ پ.بعدی تانسور(ت، برچسب)، برچسب.طول()
    سرچاپ داده.برچسب‌ها(وای).طول()، داده.تانسور ویژگی(ایکس).شکل
    تلاش:
        داده.تجزیه آی‌دی‌ایکس(پوچ، ۰)
    گرفتن خطا خ:
        سرچاپ خ.کد
    پایان
    تلاش:
        داده.بارگذاری آی‌دی‌ایکس("نیست.idx")
    گرفتن خطا خ:
        سرچاپ خ.نام نوع()
    پایان
    تلاش:
        داده.بارگذاری ام‌نیست("a"، "b"، بخش‌ایکس، بخش‌وای)
    گرفتن خطا خ:
        سرچاپ خ.مسیر
    پایان
    ناپایا رده‌ها := وکتور {} برگردان وکتور<رشته>
    سرچاپ داده.بارگذاری پوشه تصویر("پوشه-نیست"، ۸، ۸، درست، ت، برچسب، رده‌ها)
    پ.آزادسازی()
    م.آزادسازی()
پایان
خروجی10 3 4 3 4 4 3 4 2 3 2 true 4 10 [10, 3] binary.unexpected_end not found a false

بازنشانی Reset

تابع بازنشانی(epoch: صحیح۶۴)

بازنشانی reset

تابع بازنشانی(epoch: صحیح۶۴)
به آغاز برمی‌گردد و ترتیب تازه‌ای با بذر به‌علاوه‌ی شماره‌ی دور می‌سازد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

بعدی Next

تابع بعدی(x_out &: ماتریس.ماتریس، y_out &: ماتریس.ماتریس): منطقی

بعدی next

تابع بعدی(x_out &: ماتریس.ماتریس، y_out &: ماتریس.ماتریس): منطقی
دسته‌ی بعدی را در x_out و y_out می‌گذارد؛ دسته‌ی آخر ممکن است کوچک‌تر باشد. اگر دسته‌ای نماند، نادرست.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

بعدی تانسور NextTensor

تابع بعدی تانسور(x_out &: تانسور.تانسور، labels_out &: وکتور<صحیح>): منطقی

بعدی تانسور next_tensor

تابع بعدی تانسور(x_out &: تانسور.تانسور، labels_out &: وکتور<صحیح>): منطقی
دسته‌ی بعدی را به شکل تانسور و فهرست برچسب‌های صحیح می‌دهد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

شمار دسته در دور BatchesPerEpoch

تابع شمار دسته در دور(): صحیح

شمار دسته در دور batches_per_epoch

تابع شمار دسته در دور(): صحیح
تعداد دسته‌ها در هر دور.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

آزادسازی Free

تابع آزادسازی()

آزادسازی free

تابع آزادسازی()
حافظه را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

مجموعه‌داده ماتریسی MatrixDataset

ساختار مجموعه‌داده ماتریسی
مجموعه‌داده‌ای از ماتریس ویژگی‌ها و برچسب‌ها.
نامانگلیسیگونهتوضیح
ویژگی‌هاxماتریس.ماتریسماتریس ویژگی‌ها، هر سطر یک نمونه.
برچسب‌هاyماتریس.ماتریسبرچسب‌ها، هر سطر یک نمونه.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

طول Len

تابع طول(): صحیح

طول len

تابع طول(): صحیح
تعداد نمونه‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

دسته‌ها Batches

تابع دسته‌ها(batch: صحیح، shuffle: منطقی، seed: صحیح۶۴): پیمایشگر دسته

دسته‌ها batches

تابع دسته‌ها(batch: صحیح، shuffle: منطقی، seed: صحیح۶۴): پیمایشگر دسته
پیمایشگری که نمونه‌ها را دسته‌دسته می‌دهد؛ اگر shuffle درست باشد، ترتیب با seed به‌هم می‌ریزد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

آزادسازی Free

تابع آزادسازی()

آزادسازی free

تابع آزادسازی()
حافظه را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

جدول Table

ساختار جدول
جدول داده با ستون‌های نام‌دار، برای یادگیری ماشین.
نامانگلیسیگونهتوضیح
نام‌هاnamesوکتور<رشته>نام ستون‌ها.
گونه‌هاkindsوکتور<صحیح>نوع هر ستون؛ یکی از ثابت‌های ستون.
سطح‌هاcatsوکتور<وکتور<رشته>>سطح‌های هر ستون رده‌ای.
متن خامrawوکتور<وکتور<رشته>>متن اصلی خانه‌های ستون‌های ستون رشته‌ای؛ برای گونه‌های دیگر خالی.
خانه‌هاcellsماتریس.ماتریسمقدار عددی خانه‌ها؛ ستون رده‌ای شماره‌ی سطح را دارد.
data-Table.salam
واردسازی داده
واردسازی ماتریس

تابع ریشه خطادار:
    متن := "age,city,score,ok\n30,tehran,1.5,1\n25,shiraz,2.5,0\n41,tehran,3.0,1\n"
    ناپایا ج := تلاش داده.بارگذاری سی‌اس‌وی(متن، درست)
    سرچاپ ج.سطرها()، ج.ستون‌ها()، ج.نام‌ها، ج.نمایه ستون("score")، ج.نمایه ستون("x")
    سرچاپ ج.گونه‌ها[۰] == داده.ستون صحیح، ج.گونه‌ها[۱] == داده.ستون رده‌ای، ج.گونه‌ها[۲] == داده.ستون اعشاری، داده.ستون رشته‌ای
    سرچاپ ج.سطوح رده‌ای("city")
    ناپایا م := ج.به ماتریس()
    سرچاپ م.سطرها، م.ستون‌ها، م.عنصر(۲، ۱)
    ناپایا ایکس := ماتریس.ماتریس {}
    ناپایا وای := ماتریس.ماتریس {}
    سرچاپ ج.جداسازی ویژگی از برچسب("ok"، ایکس، وای)، ایکس.ستون‌ها، وای.عنصر(۱، ۰)
    تلاش:
        داده.بارگذاری پرونده سی‌اس‌وی("نیست.csv"، درست)
    گرفتن خطا خ:
        سرچاپ خ.نام نوع()، خ.مسیر
    پایان
    ماتریس.آزادسازی(م)
    ماتریس.آزادسازی(ایکس)
    ماتریس.آزادسازی(وای)
    ج.آزادسازی()
پایان
خروجی3 4 ["age", "city", "score", "ok"] 2 -1 true true true 3 ["tehran", "shiraz"] 3 4 0 true 3 0 not found نیست.csv

سطرها Rows

تابع سطرها(): صحیح

سطرها rows

تابع سطرها(): صحیح
تعداد سطرهای داده، بدون سرستون.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

ستون‌ها Cols

تابع ستون‌ها(): صحیح

ستون‌ها cols

تابع ستون‌ها(): صحیح
تعداد ستون‌ها.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

نمایه ستون ColIndex

تابع نمایه ستون(name: رشته): صحیح

نمایه ستون col_index

تابع نمایه ستون(name: رشته): صحیح
شماره‌ی ستون با این نام؛ ‎-1 اگر نباشد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

سطوح رده‌ای CatLevels

تابع سطوح رده‌ای(name: رشته): وکتور<رشته>

سطوح رده‌ای cat_levels

تابع سطوح رده‌ای(name: رشته): وکتور<رشته>
سطح‌های یک ستون رده‌ای به ترتیب دیدن.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

به ماتریس ToMatrix

تابع به ماتریس(): ماتریس.ماتریس

به ماتریس to_matrix

تابع به ماتریس(): ماتریس.ماتریس
همه‌ی ستون‌ها را به ماتریس عددی تبدیل می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

جداسازی ویژگی از برچسب SplitXY

تابع جداسازی ویژگی از برچسب(label: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): منطقی

جداسازی ویژگی از برچسب SplitXy

تابع جداسازی ویژگی از برچسب(label: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): منطقی

جداسازی ویژگی از برچسب split_xy

تابع جداسازی ویژگی از برچسب(label: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): منطقی
ستون برچسب را به y و بقیه را به x می‌برد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

آزادسازی Free

تابع آزادسازی()

آزادسازی free

تابع آزادسازی()
حافظه را آزاد می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

پایاها و متغیرها

نوع ستون‌ها COL_…

نوع هر ستون جدول که هنگام خواندن CSV تشخیص داده می‌شود.
نامانگلیسیمقدار
ستون اعشاریCOL_FLOAT0
ستون صحیحCOL_INT1
ستون رده‌ایCOL_CAT2
ستون رشته‌ایCOL_STR3

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

تابع‌ها

تانسور ویژگی XTensor

تابع تانسور ویژگی(x &: ماتریس.ماتریس): تانسور.تانسور
ماتریس ویژگی‌ها را به تانسور تبدیل می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

برچسب‌ها YLabels

تابع برچسب‌ها(y &: ماتریس.ماتریس): وکتور<صحیح>
ستون برچسب را به فهرست عددهای صحیح تبدیل می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

بارگذاری پوشه تصویر LoadImageFolder

تابع بارگذاری پوشه تصویر(root: رشته، width: صحیح، height: صحیح، gray: منطقی، x &: تانسور.تانسور، labels &: وکتور<صحیح>، classes &: وکتور<رشته>): منطقی
تصویرهای یک پوشه را بارگذاری می‌کند: هر زیرپوشه یک رده است. تصویرها به اندازه‌ی داده‌شده درمی‌آیند و اگر gray درست باشد، خاکستری می‌شوند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

تجزیه آی‌دی‌ایکس ParseIdx

تابع تجزیه آی‌دی‌ایکس(p: تهی*، n: صحیح): Throws<ماتریس.ماتریس>
داده‌ی قالب IDX (قالب MNIST) را از حافظه به ماتریس می‌خواند. برای سرآیند خراب، نوع عنصر ناشناخته و داده‌ای که زود تمام شود خطا می‌دهد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

بارگذاری آی‌دی‌ایکس LoadIdx

تابع بارگذاری آی‌دی‌ایکس(path: رشته): Throws<ماتریس.ماتریس>
پرونده‌ی IDX را به ماتریس می‌خواند؛ پرونده‌ی فشرده‌ی gzip (.gz) اول باز می‌شود. برای پرونده‌ای که نیست یافت نشد و در غیر این صورت خطاهای تجزیه آی‌دی‌ایکس را می‌دهد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

بارگذاری ام‌نیست LoadMnist

تابع بارگذاری ام‌نیست(images_path: رشته، labels_path: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): Throws<منطقی>
پرونده‌های تصویر و برچسب MNIST را می‌خواند؛ هر تصویر یک سطر با ۷۸۴ مقدار میان صفر و ۱. اگر یکی از پرونده‌ها خوانده نشود یا شمار سطرهایشان یکی نباشد خطا می‌دهد؛ x و y فقط در موفقیت جایگزین می‌شوند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam

بارگذاری سی‌اس‌وی LoadCsv

تابع بارگذاری سی‌اس‌وی(text: رشته، header: منطقی): Throws<جدول>
متن جداشده با ویرگول را به جدول می‌خواند و نوع هر ستون را تشخیص می‌دهد: صحیح، اعشاری، رده‌ای یا متن آزاد. اگر header نادرست باشد، ستون‌ها col0، col1 و مانند آن نام می‌گیرند. برای متنی که خوانده نمی‌شود خطاهای سی اس وی را با خط و ستون می‌دهد.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

بارگذاری پرونده سی‌اس‌وی LoadCsvFile

تابع بارگذاری پرونده سی‌اس‌وی(path: رشته، header: منطقی): Throws<جدول>
پرونده‌ی CSV را به جدول می‌خواند. برای پرونده‌ای که نیست یافت نشد و در غیر این صورت خطاهای بارگذاری سی‌اس‌وی را می‌دهد، با نام پرونده در مسیر.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Table.salam

ساخت خوشه‌ها MakeBlobs

تابع ساخت خوشه‌ها(n: صحیح، centers: صحیح، p: صحیح، spread: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریس
نمونه‌های تصادفی در چند خوشه با مرکزهای تصادفی؛ برچسب هر نمونه شماره‌ی خوشه‌ی آن است.
data-Synth.salam
واردسازی داده
واردسازی ماتریس

تابع شمار یک‌ها(وای: ماتریس.ماتریس): صحیح:
    ناپایا ش := ۰
    تکرار وای.سطرها در ای:
        اگر وای.عنصر(ای، ۰) == ۱.۰:
            ش++
        پایان
    پایان
    برگشت ش
پایان

تابع ریشه:
    ناپایا وای := ماتریس.ماتریس {}
    خ := داده.ساخت خوشه‌ها(۹۰، ۳، ۲، ۰.۵، ۴۲، وای)
    سرچاپ خ.سطرها، خ.ستون‌ها، وای.سطرها
    ه := داده.ساخت هلال‌ها(۱۰۰، ۰.۱، ۷، وای)
    سرچاپ ه.سطرها، ه.ستون‌ها، شمار یک‌ها(وای)
    د := داده.ساخت دایره‌ها(۶۰، ۰.۰۵، ۰.۵، ۷، وای)
    سرچاپ د.سطرها، شمار یک‌ها(وای)
    ناپایا ضریب := ماتریس.ماتریس {}
    ر := داده.ساخت رگرسیون(۵۰، ۳، ۰.۱، ۱، وای، ضریب)
    سرچاپ ر.سطرها، ر.ستون‌ها، ضریب.سطرها
    ک := داده.ساخت دسته‌بندی(۴۰، ۴، ۲، ۱.۰، ۳، وای)
    سرچاپ ک.سطرها، ک.ستون‌ها، شمار یک‌ها(وای) > ۰
پایان
خروجی90 2 90 100 2 50 60 30 50 3 3 40 4 true

ساخت هلال‌ها MakeMoons

تابع ساخت هلال‌ها(n: صحیح، noise: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریس
دو هلال درهم‌رفته با دو برچسب؛ برای آزمودن جداکننده‌های غیرخطی.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam

ساخت دایره‌ها MakeCircles

تابع ساخت دایره‌ها(n: صحیح، noise: اعشار۶۴، factor: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریس
دو دایره‌ی هم‌مرکز با دو برچسب؛ factor نسبت شعاع دایره‌ی درونی است.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam

ساخت رگرسیون MakeRegression

تابع ساخت رگرسیون(n: صحیح، p: صحیح، noise: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس، true_coef &: ماتریس.ماتریس): ماتریس.ماتریس
داده‌ی رگرسیون خطی با ضریب‌های تصادفی؛ ضریب‌های واقعی در true_coef برمی‌گردند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam

ساخت دسته‌بندی MakeClassification

تابع ساخت دسته‌بندی(n: صحیح، p: صحیح، classes: صحیح، sep: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریس
داده‌ی دسته‌بندی با چند رده؛ sep فاصله‌ی رده‌ها را تعیین می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam