داده data
خواندن داده برای یادگیری ماشین: جدول CSV، دستهبندی نمونهها، MNIST و تصویر، و دادهی مصنوعی.
واردسازی داده
نام آرگومانها شناسهی خود کد است و معادل فارسی ندارد؛ گونهها، کلیدواژهها و نام بستهها با معادل فارسی نوشته میشوند.
این بسته داده را برای آموزش مدل آماده میکند. بارگذاری سیاسوی یک پروندهی CSV را در یک جدول میخواند، برای هر ستون تصمیم میگیرد که صحیح، اعشاری، ردهای یا متن آزاد است و ستونهای ردهای را خودکار به عدد تبدیل میکند؛ سپس جداسازی ویژگی از برچسب جدول را به ماتریس ویژگیها و برچسب تقسیم میکند. مجموعهداده ماتریسی سطرها را در دستههای کوچک و درهمریخته میدهد، بارگذاری امنیست، بارگذاری آیدیایکس و بارگذاری پوشه تصویر مجموعههای تصویر را میخوانند و تابعهای ساخت ... دادهی مصنوعی با بذر ثابت میسازند، برای آزمودن الگوریتمها بدون پرونده.
خروجی همهی اینها یک ماتریس یا تانسور است، آماده برای یادگیری ماشین و شبکه عصبی. برای خواندن خانهبهخانهی CSV به شکل متن، بستهی سی اس وی را به کار ببرید؛ برای صفحهگستردهها اکسل را؛ و برای آرایههایی که NumPy ذخیره کرده، انپیوای را.
اشتباههای رایج
- کد ردهها به پرونده بستگی دارد. کدها به ترتیب نخستین ظهور داده میشوند، پس
redممکن است در پروندهی آموزش ۰ و در پروندهی آزمون ۲ باشد، و ستونی با ۲۵ مقدار متفاوت ممکن است در یک پرونده ردهای و در دیگری متنی باشد. همهی سطرها را از یک پرونده بخوانید و تقسیمشان کنید، همانطور که راهنمای دادهی آزمون میکند، یا پروندههای تازه را باسطوح ردهایجدول آموزش نگاشت کنید. - یک خانهی خراب گونهی ستون را عوض میکند. فقط یک
12,5یاn/aدر ستون عددی کل ستون را ردهای یا متنی میکند. پس از بارگذاریkindsرا بررسی کنید. - خانههای خالی در ستون عددی NaN میشوند، ولی در ستون ردهای یک ردهی جدا، یعنی رشتهی خالی.
- فقط ویرگول. جداکننده همیشه
,است؛ پروندههای نقطهویرگولی یا جدولبندیشده با تب را اول تبدیل کنید، مثلاً با بستهی سی اس وی.
راهنمای زیر ترتیب یک پروژهی کوچک یادگیری ماشین را دنبال میکند: بارگذاری یک پروندهی CSV و دیدن اینکه هر ستون چگونه خوانده شده، جدا کردن ویژگیها از برچسب و برازش نخستین مدل، آموزش با دستههای کوچک، کنار گذاشتن دادهی آزمون و خواندن قالب پروندههای MNIST.
بارگذاری سیاسوی هر ستون را چگونه میخواند
بارگذاری سیاسوی به همهی مقدارهای یک ستون نگاه میکند و گونهاش را خودش انتخاب میکند. اگر همه عدد صحیح باشند ستون صحیح و اگر همه عدد باشند ستون اعشاری میشود. متنی که شمار مقدارهای گوناگونش محدود است (حداکثر ۲۰، یا یکدهم سطرها اگر بیشتر باشد، و کمتر از شمار سطرها) ستون ردهای میشود: هر مقدار به ترتیب نخستین ظهور کدی از ۰ میگیرد و سطوح ردهای نامها را پس میدهد. متنی که در هر سطر متفاوت است، مثل یک نظر آزاد، ستون رشتهای میماند. خانهی خالی در ستون عددی به شکل NaN ذخیره میشود که ریاضی.نامعدد است تشخیصش میدهد؛ در ستون ردهای یک ردهی جداگانه میشود. نام ستونها و مقدارهای فارسی هم بیهیچ تنظیمی کار میکنند.
واردسازی داده
واردسازی ماتریس
واردسازی ریاضی
تابع نام نوع ستون(کد نوع: صحیح): رشته:
اگر کد نوع برابر داده.ستون صحیح: برگشت "صحیح" پایان
اگر کد نوع برابر داده.ستون اعشاری: برگشت "اعشاری" پایان
اگر کد نوع برابر داده.ستون ردهای: برگشت "ردهای" پایان
برگشت "متن"
پایان
تابع ریشه(): صحیح خطادار:
متن := "شناسه,شهر,سن,درآمد,نظر\n1,تهران,34,2.5,ارسال سریع\n2,شیراز,,3.1,خوب\n3,تهران,51,4.0,دیر رسید\n4,تبریز,28,1.9,قیمت مناسب\n"
ناپایا جدول := تلاش داده.بارگذاری سیاسوی(متن، درست)
هر ی، نام در جدول.نامها:
سرچاپ نام، "->"، نام نوع ستون(جدول.گونهها.بگیر(ی))
پایان
ردهها := جدول.سطوح ردهای("شهر")
سرچاپ "ردههای شهر:"، ردهها
شهر := جدول.نمایه ستون("شهر")
سن := جدول.نمایه ستون("سن")
تکرار جدول.سطرها() در ی:
کد := جدول.خانهها.عنصر(ی، شهر) برگردان صحیح
ناپایا وضعیت := "ناموجود"
اگر ریاضی.نامعدد است(جدول.خانهها.عنصر(ی، سن)) برابر نادرست: وضعیت = "معلوم" پایان
سرچاپ "سطر"، ی، "کد شهر"، کد، "="، ردهها.بگیر(کد)، "سن"، وضعیت
پایان
ناپایا م := جدول.به ماتریس()
سرچاپ "به ماتریس"، م.ستونها، "ستون از"، جدول.ستونها()، "ستون را نگه میدارد"
ناپایا یکداغ := ماتریس.صفرها(جدول.سطرها()، ردهها.طول())
تکرار جدول.سطرها() در ی: یکداغ.تنظیم(ی، جدول.خانهها.عنصر(ی، شهر) برگردان صحیح، ۱.۰) پایان
سرچاپ "سطر ۳ یکداغ:"، یکداغ.عنصر(۳، ۰)، یکداغ.عنصر(۳، ۱)، یکداغ.عنصر(۳، ۲)
ماتریس.آزادسازی(یکداغ)
ماتریس.آزادسازی(م)
جدول.آزادسازی()
برگشت ۰
پایانبه ماتریس و جداسازی ویژگی از برچسب ستونهای ستون رشتهای را کنار میگذارند و برای همین پنج ستون چهار ستون میشود. رده با کدش ذخیره میشود که برای درخت تصمیم مناسب است؛ برای مدل خطی یا شبکهی عصبی، مثل سطرهای آخر برنامه، از روی کد ستونهای یکداغ بسازید.
از پروندهی CSV تا نخستین مدل
جداسازی ویژگی از برچسب نام ستون برچسب را میگیرد و دو ماتریس را پر میکند: همهی ستونهای قابل استفادهی دیگر به عنوان ویژگی، و برچسب به شکل ماتریسی تکستونی. اگر ستون برچسب نباشد یا متن ساده باشد نادرست برمیگرداند. این دقیقا همان شکلی است که تابعهای ماتریس میخواهند، پس برازش کمترین مربعات با ماتریس.رگرسیون خطی فقط یک سطر دیگر است. در نتیجهی آن اول عرض از مبدا و بعد برای هر ویژگی یک ضریب میآید.
واردسازی داده
واردسازی ماتریس
واردسازی تبدیل
تابع ریشه(): صحیح خطادار:
متن := "متراژ,اتاق,قیمت\n50,1,105\n70,2,147\n80,2,164\n100,3,208\n120,3,244\n150,4,305\n"
ناپایا جدول := تلاش داده.بارگذاری سیاسوی(متن، درست)
ناپایا ویژگی := ماتریس.ماتریس {}
ناپایا برچسب := ماتریس.ماتریس {}
اگر جدول.جداسازی ویژگی از برچسب("قیمت"، ویژگی، برچسب) برابر نادرست:
سرچاپ "ستون قیمت پیدا نشد"
برگشت ۱
پایان
سرچاپ "ویژگیها:"، ویژگی.سطرها، "در"، ویژگی.ستونها، "برچسب:"، برچسب.سطرها، "در"، برچسب.ستونها
ناپایا ضریب := ماتریس.رگرسیون خطی(ویژگی، برچسب)
سرچاپ "عرض از مبدا:"، تبدیل.قالب اعشار با دقت(ضریب.عنصر(۰، ۰)، ۲)
سرچاپ "هر متر مربع:"، تبدیل.قالب اعشار با دقت(ضریب.عنصر(۱، ۰)، ۲)
سرچاپ "هر اتاق:"، تبدیل.قالب اعشار با دقت(ضریب.عنصر(۲، ۰)، ۲)
حدس := ضریب.عنصر(۰، ۰) + ۹۰.۰ * ضریب.عنصر(۱، ۰) + ۲.۰ * ضریب.عنصر(۲، ۰)
سرچاپ "۹۰ متر با ۲ اتاق:"، تبدیل.قالب اعشار با دقت(حدس، ۱)
ماتریس.آزادسازی(ضریب)
ماتریس.آزادسازی(ویژگی)
ماتریس.آزادسازی(برچسب)
جدول.آزادسازی()
برگشت ۰
پایانآموزش با دستههای کوچک
گرادیان کاهشی روی دادهی بزرگ هر بار فقط چند سطر را میبیند. ویژگیها و برچسبها را در یک مجموعهداده ماتریسی بگذارید، از آن دستهها(اندازه، درهمریختن، بذر) را بخواهید و بعدی را تا وقتی نادرست برنگردانده صدا بزنید؛ هر فراخوانی دو ماتریسی را که میدهید با دستهی بعدی جایگزین میکند. بازنشانی(دور) دور تازهای را شروع میکند و با بذر به اضافهی شمارهی دور دوباره درهم میریزد، پس هر دور ترتیب دیگری میبیند ولی اجرا دقیقا تکرارپذیر است. ساخت رگرسیون مسئلهای آزمایشی با ضریبهای واقعی معلوم میسازد تا ببینید آموزش آنها را پیدا کرده است.
واردسازی داده
واردسازی ماتریس
واردسازی تبدیل
تابع ریشه:
ناپایا برچسب := ماتریس.ماتریس {}
ناپایا ضریبها := ماتریس.ماتریس {}
ویژگی := داده.ساخت رگرسیون(۲۰۰، ۳، ۰.۰۵، ۱۱، برچسب، ضریبها)
ناپایا مجموعه := داده.مجموعهداده ماتریسی { ویژگیها = ویژگی، برچسبها = برچسب }
ناپایا وزن := ماتریس.صفرها(۳، ۱)
ناپایا پیمایشگر := مجموعه.دستهها(۲۰، درست، ۷)
ناپایا دسته ویژگی := ماتریس.ماتریس {}
ناپایا دسته برچسب := ماتریس.ماتریس {}
تکرار ۵ در دور:
پیمایشگر.بازنشانی(دور برگردان صحیح۶۴)
ناپایا زیان := ۰.۰
تا پیمایشگر.بعدی(دسته ویژگی، دسته برچسب):
ناپایا پیشبینی := ماتریس.ضرب ماتریسی(دسته ویژگی، وزن)
ناپایا تفاوت := ماتریس.تفریق(پیشبینی، دسته برچسب)
ناپایا گرادیان := ماتریس.ضرب ترانهاده(دسته ویژگی، تفاوت)
ماتریس.جمع مقیاسدار(وزن، گرادیان، -۰.۱ / (دسته ویژگی.سطرها برگردان اعشار۶۴))
زیان += ماتریس.ضرب داخلی(تفاوت، تفاوت)
ماتریس.آزادسازی(پیشبینی)
ماتریس.آزادسازی(تفاوت)
ماتریس.آزادسازی(گرادیان)
پایان
سرچاپ "دور"، دور + ۱، "دستهها"، پیمایشگر.شمار دسته در دور()، "زیان"، تبدیل.قالب اعشار با دقت(زیان / (مجموعه.طول() برگردان اعشار۶۴)، ۴)
پایان
تکرار ۳ در ی:
سرچاپ "w" + ی، "آموخته"، تبدیل.قالب اعشار با دقت(وزن.عنصر(ی، ۰)، ۲)، "واقعی"، تبدیل.قالب اعشار با دقت(ضریبها.عنصر(ی، ۰)، ۲)
پایان
ماتریس.آزادسازی(دسته ویژگی)
ماتریس.آزادسازی(دسته برچسب)
ماتریس.آزادسازی(وزن)
ماتریس.آزادسازی(ضریبها)
پیمایشگر.آزادسازی()
مجموعه.آزادسازی()
برگشت ۰
پایانبعدی ماتریسهایی را که میگیرد پیش از پر کردن آزاد میکند، پس هر بار همان دو متغیر را بدهید و پس از حلقه یک بار آزادشان کنید.
کنار گذاشتن دادهی آزمون
مدل را باید روی سطرهایی سنجید که هرگز ندیده است. سادهترین جداسازی از همان پیمایشگر دسته استفاده میکند: یک بار با بذر ثابت درهم بریزید، دستهی اول را به اندازهی دادهی آموزش و دستهی دوم را با باقی سطرها بگیرید. اینجا یک ردهبند نزدیکترین مرکز، مرکز هر یک از سه خوشهی ساخت خوشهها را یاد میگیرد و روی ۳۰ نقطهی کنارگذاشته نمره میگیرد.
واردسازی داده
واردسازی ماتریس
تابع نزدیکترین(مرکزها: ماتریس.ماتریس، نقطهها: ماتریس.ماتریس، ی: صحیح): صحیح:
ناپایا بهترین := ۰
ناپایا کمترین فاصله := -۱.۰
تکرار مرکزها.سطرها در م:
ناپایا فاصله := ۰.۰
تکرار نقطهها.ستونها در ج:
اختلاف := نقطهها.عنصر(ی، ج) - مرکزها.عنصر(م، ج)
فاصله += اختلاف * اختلاف
پایان
اگر کمترین فاصله کوچکتر ۰.۰ یا فاصله کوچکتر کمترین فاصله:
بهترین = م
کمترین فاصله = فاصله
پایان
پایان
برگشت بهترین
پایان
تابع ریشه:
ناپایا برچسب := ماتریس.ماتریس {}
نقطهها := داده.ساخت خوشهها(۱۲۰، ۳، ۲، ۱.۰، ۵، برچسب)
ناپایا مجموعه := داده.مجموعهداده ماتریسی { ویژگیها = نقطهها، برچسبها = برچسب }
ناپایا پیمایشگر := مجموعه.دستهها(۹۰، درست، ۱)
ناپایا ویژگی آموزش := ماتریس.ماتریس {}
ناپایا آموزش برچسب := ماتریس.ماتریس {}
ناپایا ویژگی آزمون := ماتریس.ماتریس {}
ناپایا آزمون برچسب := ماتریس.ماتریس {}
پیمایشگر.بعدی(ویژگی آموزش، آموزش برچسب)
پیمایشگر.بعدی(ویژگی آزمون، آزمون برچسب)
سرچاپ "آموزش:"، ویژگی آموزش.سطرها، "آزمون:"، ویژگی آزمون.سطرها
ناپایا مرکزها := ماتریس.صفرها(۳، ۲)
ناپایا اندازهها := ماتریس.صفرها(۳، ۱)
تکرار ویژگی آموزش.سطرها در ی:
خوشه := آموزش برچسب.عنصر(ی، ۰) برگردان صحیح
تکرار ۲ در ج: مرکزها.تنظیم(خوشه، ج، مرکزها.عنصر(خوشه، ج) + ویژگی آموزش.عنصر(ی، ج)) پایان
اندازهها.تنظیم(خوشه، ۰، اندازهها.عنصر(خوشه، ۰) + ۱.۰)
پایان
تکرار ۳ در خوشه:
تکرار ۲ در ج: مرکزها.تنظیم(خوشه، ج، مرکزها.عنصر(خوشه، ج) / اندازهها.عنصر(خوشه، ۰)) پایان
پایان
ناپایا درستها := ۰
تکرار ویژگی آزمون.سطرها در ی:
اگر نزدیکترین(مرکزها، ویژگی آزمون، ی) برابر آزمون برچسب.عنصر(ی، ۰) برگردان صحیح: درستها++ پایان
پایان
سرچاپ "درست روی نقطههای ندیده:"، درستها، "از"، ویژگی آزمون.سطرها
هر م در [ویژگی آموزش، آموزش برچسب، ویژگی آزمون، آزمون برچسب، مرکزها، اندازهها]:
ناپایا موقت := م
ماتریس.آزادسازی(موقت)
پایان
پیمایشگر.آزادسازی()
مجموعه.آزادسازی()
برگشت ۰
پایانبا بذر دیگر جداسازی دیگر و عددهای کمی متفاوت به دست میآید. برای مقایسهی منصفانهی دو مدل، برای هر دو همان بذر را به کار ببرید.
قالب پروندههای MNIST
MNIST و بسیاری از مجموعههای تصویری که از آن پیروی میکنند قالب IDX را به کار میبرند: یک عدد جادویی که بایت سومش گونهی عنصر و بایت چهارمش شمار بعدهاست، اندازهی هر بعد به شکل عدد ۳۲ بیتی با ترتیب پرارزشاول، و سپس خود بایتها. بارگذاری امنیست یک پروندهی تصویر و یک پروندهی برچسب را به ماتریسی با یک تصویر در هر سطر (پیکسلها از ۰ تا ۲۵۵ به ۰ تا ۱ مقیاس میشوند) و ماتریس تکستونی برچسبها میخواند. بارگذاری آیدیایکس هر پروندهی IDX را همانطور که هست میخواند. برنامه سه تصویر کوچک ۲ در ۲ را خودش مینویسد تا بدون بارگیری اجرا شود؛ برای مجموعهی واقعی همین فراخوانی را به train-images-idx3-ubyte و train-labels-idx1-ubyte بدهید.
واردسازی داده
واردسازی ماتریس
واردسازی فشرده سازی
واردسازی بایگانی
واردسازی کدگذاری.دودویی
واردسازی تبدیل
تابع نوشتن آیدیایکس(مسیر: رشته، بعدها: وکتور<صحیح>، مقدارها: وکتور<صحیح>): منطقی:
ناپایا بافر := فشرده سازی.بافر بایت جدید()
دودویی.نوشتن طبیعی۸(بافر، ۰)
دودویی.نوشتن طبیعی۸(بافر، ۰)
دودویی.نوشتن طبیعی۸(بافر، ۸)
دودویی.نوشتن طبیعی۸(بافر، بعدها.طول())
هر ب در بعدها: دودویی.نوشتن طبیعی۳۲ بزرگانتها(بافر، ب) پایان
هر م در مقدارها: دودویی.نوشتن طبیعی۸(بافر، م) پایان
خوب := بایگانی.نوشتن پرونده دودویی از بافر(مسیر، بافر)
فشرده سازی.آزادسازی بافر(بافر)
برگشت خوب
پایان
تابع ریشه(): صحیح خطادار:
ناپایا بعدها := وکتور {} برگردان وکتور<صحیح>
بعدها.بیفزا(۳)
بعدها.بیفزا(۲)
بعدها.بیفزا(۲)
ناپایا پیکسلها := وکتور {} برگردان وکتور<صحیح>
تکرار ۱۲ در ی: پیکسلها.بیفزا(ی * ۲۰) پایان
نوشتن آیدیایکس("images.idx"، بعدها، پیکسلها)
ناپایا تعداد := وکتور {} برگردان وکتور<صحیح>
تعداد.بیفزا(۳)
ناپایا برچسبها := وکتور {} برگردان وکتور<صحیح>
برچسبها.بیفزا(۷)
برچسبها.بیفزا(۲)
برچسبها.بیفزا(۷)
نوشتن آیدیایکس("labels.idx"، تعداد، برچسبها)
ناپایا تصویرها := ماتریس.ماتریس {}
ناپایا ردهها := ماتریس.ماتریس {}
تلاش داده.بارگذاری امنیست("images.idx"، "labels.idx"، تصویرها، ردهها)
سرچاپ "تصویرها:"، تصویرها.سطرها، "پیکسل هر کدام:"، تصویرها.ستونها، "برچسبها:"، ردهها.سطرها
تکرار تصویرها.سطرها در ی:
سرچاپ "برچسب"، ردهها.عنصر(ی، ۰)، "پیکسلها"، تبدیل.قالب اعشار با دقت(تصویرها.عنصر(ی، ۰)، ۳)، تبدیل.قالب اعشار با دقت(تصویرها.عنصر(ی، ۳)، ۳)
پایان
خام := تلاش داده.بارگذاری آیدیایکس("images.idx")
سرچاپ "مقدار خام پیکسل آخر:"، خام.عنصر(۲، ۳)
تلاش:
داده.بارگذاری امنیست("images.idx"، "missing.idx"، تصویرها، ردهها)
گرفتن خطا خ:
سرچاپ "بدون برچسب:"، خ.به رشته()
پایان
ماتریس.آزادسازی(تصویرها)
ماتریس.آزادسازی(ردهها)
برگشت ۰
پایانهر دو خواننده خطاداراند: پروندهای که نیست یافت نشد با نام پرونده در مسیر است، پروندهای که IDX نیست idx.bad_magic، پروندهی بریده اتمام ناگهانی با جایگاه بایت، و تصویر و برچسب با طولهای ناهمسان idx.mismatch. هیچوقت ماتریس نیمهپر نمیگیرید.
گونهها
پیمایشگر دسته BatchIter
ساختار پیمایشگر دسته| نام | انگلیسی | گونه | توضیح |
|---|---|---|---|
| ویژگیها | x | ماتریس.ماتریس | ویژگیها. |
| برچسبها | y | ماتریس.ماتریس | برچسبها. |
| اندازه دسته | batch | صحیح = 32 | اندازهی دسته. |
| درهمریزی | shuffle | منطقی = درست | بههم ریختن ترتیب. |
| بذر | seed | صحیح۶۴ = 0 | بذر بههم ریختن. |
| ترتیب | order | وکتور<صحیح> | ترتیب نمونهها در این دور. |
| جایگاه | pos | صحیح = 0 | جای فعلی. |
واردسازی داده
واردسازی ماتریس
واردسازی هوش مصنوعی.تانسور
تابع ریشه خطادار:
ناپایا وای := ماتریس.ماتریس {}
ناپایا ایکس := داده.ساخت خوشهها(۱۰، ۲، ۳، ۰.۲، ۱، وای)
ناپایا م := داده.مجموعهداده ماتریسی { ویژگیها = ایکس، برچسبها = وای }
سرچاپ م.طول()
ناپایا پ := م.دستهها(۴، نادرست، ۰)
سرچاپ پ.شمار دسته در دور()
ناپایا بخشایکس := ماتریس.ماتریس {}
ناپایا بخشوای := ماتریس.ماتریس {}
تا پ.بعدی(بخشایکس، بخشوای):
سرچاپ بخشایکس.سطرها، بخشایکس.ستونها، بخشوای.سطرها
پایان
پ.بازنشانی(۱)
ناپایا ت := تانسور.تانسور {}
ناپایا برچسب := وکتور {} برگردان وکتور<صحیح>
سرچاپ پ.بعدی تانسور(ت، برچسب)، برچسب.طول()
سرچاپ داده.برچسبها(وای).طول()، داده.تانسور ویژگی(ایکس).شکل
تلاش:
داده.تجزیه آیدیایکس(پوچ، ۰)
گرفتن خطا خ:
سرچاپ خ.کد
پایان
تلاش:
داده.بارگذاری آیدیایکس("نیست.idx")
گرفتن خطا خ:
سرچاپ خ.نام نوع()
پایان
تلاش:
داده.بارگذاری امنیست("a"، "b"، بخشایکس، بخشوای)
گرفتن خطا خ:
سرچاپ خ.مسیر
پایان
ناپایا ردهها := وکتور {} برگردان وکتور<رشته>
سرچاپ داده.بارگذاری پوشه تصویر("پوشه-نیست"، ۸، ۸، درست، ت، برچسب، ردهها)
پ.آزادسازی()
م.آزادسازی()
پایانبازنشانی Reset
تابع بازنشانی(epoch: صحیح۶۴)بازنشانی reset
تابع بازنشانی(epoch: صحیح۶۴)نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
بعدی Next
تابع بعدی(x_out &: ماتریس.ماتریس، y_out &: ماتریس.ماتریس): منطقیبعدی next
تابع بعدی(x_out &: ماتریس.ماتریس، y_out &: ماتریس.ماتریس): منطقیx_out و y_out میگذارد؛ دستهی آخر ممکن است کوچکتر باشد. اگر دستهای نماند، نادرست.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
بعدی تانسور NextTensor
تابع بعدی تانسور(x_out &: تانسور.تانسور، labels_out &: وکتور<صحیح>): منطقیبعدی تانسور next_tensor
تابع بعدی تانسور(x_out &: تانسور.تانسور، labels_out &: وکتور<صحیح>): منطقینمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
شمار دسته در دور BatchesPerEpoch
تابع شمار دسته در دور(): صحیحشمار دسته در دور batches_per_epoch
تابع شمار دسته در دور(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
آزادسازی Free
تابع آزادسازی()آزادسازی free
تابع آزادسازی()نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
مجموعهداده ماتریسی MatrixDataset
ساختار مجموعهداده ماتریسی| نام | انگلیسی | گونه | توضیح |
|---|---|---|---|
| ویژگیها | x | ماتریس.ماتریس | ماتریس ویژگیها، هر سطر یک نمونه. |
| برچسبها | y | ماتریس.ماتریس | برچسبها، هر سطر یک نمونه. |
نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
طول Len
تابع طول(): صحیحطول len
تابع طول(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
دستهها Batches
تابع دستهها(batch: صحیح، shuffle: منطقی، seed: صحیح۶۴): پیمایشگر دستهدستهها batches
تابع دستهها(batch: صحیح، shuffle: منطقی، seed: صحیح۶۴): پیمایشگر دستهshuffle درست باشد، ترتیب با seed بههم میریزد.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
آزادسازی Free
تابع آزادسازی()آزادسازی free
تابع آزادسازی()نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
جدول Table
ساختار جدول| نام | انگلیسی | گونه | توضیح |
|---|---|---|---|
| نامها | names | وکتور<رشته> | نام ستونها. |
| گونهها | kinds | وکتور<صحیح> | نوع هر ستون؛ یکی از ثابتهای ستون. |
| سطحها | cats | وکتور<وکتور<رشته>> | سطحهای هر ستون ردهای. |
| متن خام | raw | وکتور<وکتور<رشته>> | متن اصلی خانههای ستونهای ستون رشتهای؛ برای گونههای دیگر خالی. |
| خانهها | cells | ماتریس.ماتریس | مقدار عددی خانهها؛ ستون ردهای شمارهی سطح را دارد. |
واردسازی داده
واردسازی ماتریس
تابع ریشه خطادار:
متن := "age,city,score,ok\n30,tehran,1.5,1\n25,shiraz,2.5,0\n41,tehran,3.0,1\n"
ناپایا ج := تلاش داده.بارگذاری سیاسوی(متن، درست)
سرچاپ ج.سطرها()، ج.ستونها()، ج.نامها، ج.نمایه ستون("score")، ج.نمایه ستون("x")
سرچاپ ج.گونهها[۰] == داده.ستون صحیح، ج.گونهها[۱] == داده.ستون ردهای، ج.گونهها[۲] == داده.ستون اعشاری، داده.ستون رشتهای
سرچاپ ج.سطوح ردهای("city")
ناپایا م := ج.به ماتریس()
سرچاپ م.سطرها، م.ستونها، م.عنصر(۲، ۱)
ناپایا ایکس := ماتریس.ماتریس {}
ناپایا وای := ماتریس.ماتریس {}
سرچاپ ج.جداسازی ویژگی از برچسب("ok"، ایکس، وای)، ایکس.ستونها، وای.عنصر(۱، ۰)
تلاش:
داده.بارگذاری پرونده سیاسوی("نیست.csv"، درست)
گرفتن خطا خ:
سرچاپ خ.نام نوع()، خ.مسیر
پایان
ماتریس.آزادسازی(م)
ماتریس.آزادسازی(ایکس)
ماتریس.آزادسازی(وای)
ج.آزادسازی()
پایانسطرها Rows
تابع سطرها(): صحیحسطرها rows
تابع سطرها(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
ستونها Cols
تابع ستونها(): صحیحستونها cols
تابع ستونها(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
نمایه ستون ColIndex
تابع نمایه ستون(name: رشته): صحیحنمایه ستون col_index
تابع نمایه ستون(name: رشته): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
سطوح ردهای CatLevels
تابع سطوح ردهای(name: رشته): وکتور<رشته>سطوح ردهای cat_levels
تابع سطوح ردهای(name: رشته): وکتور<رشته>نمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
به ماتریس ToMatrix
تابع به ماتریس(): ماتریس.ماتریسبه ماتریس to_matrix
تابع به ماتریس(): ماتریس.ماتریسنمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
جداسازی ویژگی از برچسب SplitXY
تابع جداسازی ویژگی از برچسب(label: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): منطقیجداسازی ویژگی از برچسب SplitXy
تابع جداسازی ویژگی از برچسب(label: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): منطقیجداسازی ویژگی از برچسب split_xy
تابع جداسازی ویژگی از برچسب(label: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): منطقیy و بقیه را به x میبرد.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
آزادسازی Free
تابع آزادسازی()آزادسازی free
تابع آزادسازی()نمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
پایاها و متغیرها
نوع ستونها COL_…
| نام | انگلیسی | مقدار |
|---|---|---|
| ستون اعشاری | COL_FLOAT | 0 |
| ستون صحیح | COL_INT | 1 |
| ستون ردهای | COL_CAT | 2 |
| ستون رشتهای | COL_STR | 3 |
نمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
تابعها
تانسور ویژگی XTensor
تابع تانسور ویژگی(x &: ماتریس.ماتریس): تانسور.تانسورنمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
برچسبها YLabels
تابع برچسبها(y &: ماتریس.ماتریس): وکتور<صحیح>نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
بارگذاری پوشه تصویر LoadImageFolder
تابع بارگذاری پوشه تصویر(root: رشته، width: صحیح، height: صحیح، gray: منطقی، x &: تانسور.تانسور، labels &: وکتور<صحیح>، classes &: وکتور<رشته>): منطقیgray درست باشد، خاکستری میشوند.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
تجزیه آیدیایکس ParseIdx
تابع تجزیه آیدیایکس(p: تهی*، n: صحیح): Throws<ماتریس.ماتریس>نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
بارگذاری آیدیایکس LoadIdx
تابع بارگذاری آیدیایکس(path: رشته): Throws<ماتریس.ماتریس>.gz) اول باز میشود. برای پروندهای که نیست یافت نشد و در غیر این صورت خطاهای تجزیه آیدیایکس را میدهد.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
بارگذاری امنیست LoadMnist
تابع بارگذاری امنیست(images_path: رشته، labels_path: رشته، x &: ماتریس.ماتریس، y &: ماتریس.ماتریس): Throws<منطقی>x و y فقط در موفقیت جایگزین میشوند.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Batch.salam
بارگذاری سیاسوی LoadCsv
تابع بارگذاری سیاسوی(text: رشته، header: منطقی): Throws<جدول>header نادرست باشد، ستونها col0، col1 و مانند آن نام میگیرند. برای متنی که خوانده نمیشود خطاهای سی اس وی را با خط و ستون میدهد.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
بارگذاری پرونده سیاسوی LoadCsvFile
تابع بارگذاری پرونده سیاسوی(path: رشته، header: منطقی): Throws<جدول>یافت نشد و در غیر این صورت خطاهای بارگذاری سیاسوی را میدهد، با نام پرونده در مسیر.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Table.salam
ساخت خوشهها MakeBlobs
تابع ساخت خوشهها(n: صحیح، centers: صحیح، p: صحیح، spread: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریسواردسازی داده
واردسازی ماتریس
تابع شمار یکها(وای: ماتریس.ماتریس): صحیح:
ناپایا ش := ۰
تکرار وای.سطرها در ای:
اگر وای.عنصر(ای، ۰) == ۱.۰:
ش++
پایان
پایان
برگشت ش
پایان
تابع ریشه:
ناپایا وای := ماتریس.ماتریس {}
خ := داده.ساخت خوشهها(۹۰، ۳، ۲، ۰.۵، ۴۲، وای)
سرچاپ خ.سطرها، خ.ستونها، وای.سطرها
ه := داده.ساخت هلالها(۱۰۰، ۰.۱، ۷، وای)
سرچاپ ه.سطرها، ه.ستونها، شمار یکها(وای)
د := داده.ساخت دایرهها(۶۰، ۰.۰۵، ۰.۵، ۷، وای)
سرچاپ د.سطرها، شمار یکها(وای)
ناپایا ضریب := ماتریس.ماتریس {}
ر := داده.ساخت رگرسیون(۵۰، ۳، ۰.۱، ۱، وای، ضریب)
سرچاپ ر.سطرها، ر.ستونها، ضریب.سطرها
ک := داده.ساخت دستهبندی(۴۰، ۴، ۲، ۱.۰، ۳، وای)
سرچاپ ک.سطرها، ک.ستونها، شمار یکها(وای) > ۰
پایانساخت هلالها MakeMoons
تابع ساخت هلالها(n: صحیح، noise: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریسنمونهی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam
ساخت دایرهها MakeCircles
تابع ساخت دایرهها(n: صحیح، noise: اعشار۶۴، factor: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریسfactor نسبت شعاع دایرهی درونی است.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam
ساخت رگرسیون MakeRegression
تابع ساخت رگرسیون(n: صحیح، p: صحیح، noise: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس، true_coef &: ماتریس.ماتریس): ماتریس.ماتریسtrue_coef برمیگردند.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam
ساخت دستهبندی MakeClassification
تابع ساخت دستهبندی(n: صحیح، p: صحیح، classes: صحیح، sep: اعشار۶۴، seed: صحیح۶۴، y &: ماتریس.ماتریس): ماتریس.ماتریسsep فاصلهی ردهها را تعیین میکند.نمونهی این مورد همراه با موارد بالاتر آمده است: data-Synth.salam