آزمایش testing
نوشتن آزمون برای کد: ادعاهای برابری، شمارش موفق و ناموفق و خلاصهی نهایی.
واردسازی آزمایش
نام آرگومانها شناسهی خود کد است و معادل فارسی ندارد؛ گونهها، کلیدواژهها و نام بستهها با معادل فارسی نوشته میشوند.
آزمون، برنامهای کوچک است که بررسی میکند کد شما همان کاری را میکند که باید. بستهی آزمایش ادعاهایی دارد که اگر شکست بخورند پیام روشنی چاپ میکنند ولی برنامه را متوقف نمیکنند؛ پس همهی بررسیها اجرا میشوند و در پایان خلاصه میگوید چند مورد موفق و چند مورد ناموفق بودهاند. آزمونها را در پروندهای بگذارید که نامش به _test.salam تمام میشود، هر آزمون را تابعی بنویسید که نامش با آزمون آغاز میشود، و همه را با salam test اجرا کنید، روی دستگاه خودتان یا در CI (پایینتر را ببینید). پروندهی آزمون میتواند یک برنامهی معمولی با ریشهی خودش هم باشد که با salam run اجرا میشود.
خلاصه تعداد شکستها را برمیگرداند و برگرداندن آن از ریشه باعث میشود برنامه هنگام شکست با کد غیرصفر تمام شود؛ همین است که کار CI را قرمز میکند. برای بررسیهای درون خود برنامه، یعنی شرطهایی که در کد اصلی هرگز نباید نادرست شوند، ادعا از بستهی اشکال زدایی را به کار ببرید که برنامه را متوقف میکند. برای زمانسنجی کد، اشکال زدایی و زمان را ببینید.
اشتباههای رایج:
- خط شکست میگوید چه چیزی فرق داشت، نه کجا. در حلقهای روی موردها،
ادعا با پیامرا به کار ببرید و نام مورد را در پیام بگذارید (پایینتر را ببینید). - رشتهها بدون نقلقول چاپ میشوند، پس یک فاصلهی اضافه در
got hello want helloدیده نمیشود. در پیامهای خودتان دور مقدارها کروشه بگذارید. - کد خروج فقط ۸ بیت دارد، پس ۲۵۶ شکست کد خروج صفر خوانده میشود. مجموعهای که ممکن است اینقدر شکست داشته باشد باید
شکستها > ۰ ? ۱ : ۰را برگرداند. - شمارندهها متغیرهای سراسری بیقفلاند: ادعاها را فقط از نخ اصلی صدا بزنید.
اجرای آزمونها با salam test
salam test همهی پروندههای *_test.salam زیر پوشهی جاری (یا پروندهها و پوشههایی که نام میبرید) را پیدا میکند و در هر کدام، هر تابعی را که نامش با آزمون (در پروندهی انگلیسی test_) آغاز میشود و ورودی ندارد صدا میزند. ریشه نمینویسید: اجراکننده ریشهی خودش را در حافظه مینویسد و هر آزمون را با نامش گزارش میدهد:
salam test # every test file under this directory
salam test calc_test.salam # one file
salam test --run=parse # only tests whose name contains "parse"
salam test '--run=^test_add$' # exactly test_add (^ and $ anchor the name)
salam test --interp # on the interpreter, no C compiler needed
هر پرونده در فرایند جداگانهای اجرا میشود؛ پس اگر یکی از کار بیفتد فقط همان ناموفق میشود و بقیه اجرا میشوند. اگر آزمونی ناموفق باشد، پروندهی آزمونی ترجمه نشود یا --run با هیچ آزمونی جور نباشد، فرمان با کد خروج ۱ تمام میشود. --format=teamcity به جای خطهای ساده پیامهای TeamCity چاپ میکند، که افزونهی JetBrains برای نشان دادن درخت آزمونها میخواند؛ پروندهای که ریشهی خودش را دارد و تابع آزمون ندارد یک آزمون به حساب میآید که اگر با کد ۰ تمام شود موفق است.
آزمونهای جدولمحور
وقتی یک تابع باید برای ورودیهای زیادی پاسخ درست بدهد، ورودیها و پاسخهای مورد انتظار را در آرایهای از ساختارهای کوچک بگذارید و روی آن حلقه بزنید. اینطور افزودن یک مورد فقط یک خط است و حتی اگر موردی زودتر شکست بخورد، بقیه هم اجرا میشوند.
واردسازی آزمایش
واردسازی رشته
ساختار مورد:
همگانی عدد: صحیح = ۰
همگانی انتظار: رشته = ""
پایان
تابع فیزباز(عدد: صحیح): رشته:
اگر عدد % ۱۵ == ۰:
برگشت "FizzBuzz"
وگرنه عدد % ۳ == ۰:
برگشت "Fizz"
وگرنه عدد % ۵ == ۰:
برگشت "Buzz"
پایان
برگشت رشته.از عدد(عدد)
پایان
تابع ریشه:
موردها := [
مورد { عدد = ۱، انتظار = "1" }،
مورد { عدد = ۳، انتظار = "Fizz" }،
مورد { عدد = ۵، انتظار = "Buzz" }،
مورد { عدد = ۹، انتظار = "Fizz" }،
مورد { عدد = ۱۰، انتظار = "Buzz" }،
مورد { عدد = ۱۵، انتظار = "FizzBuzz" }،
مورد { عدد = ۹۸، انتظار = "98" }
]
هر م در موردها:
آزمایش.ادعای برابری رشته(فیزباز(م.عدد)، م.انتظار)
پایان
برگشت آزمایش.خلاصه()
پایانبرنامه همان چیزی را برمیگرداند که خلاصه برمیگرداند، پس وقتی همه چیز درست باشد با کد خروج ۰ تمام میشود. آن را مثل هر برنامهی دیگری اجرا کنید:
salam run fizzbuzz_test.salam
echo $?
پیام شکستی که به مورد اشاره میکند
ادعای برابری رشته درون حلقه چاپ میکند strings differ: got ... want ... و پیدا کردن اینکه کدام ردیف جدول بوده به عهدهی شماست. به هر مورد یک نام بدهید و پیام را خودتان با ادعا با پیام بسازید. کروشههای دور مقدارها فاصلههای دو طرف را نشان میدهند، و اشکال این نمونه دقیقاً همین است.
واردسازی آزمایش
واردسازی رشته
ساختار مورد:
همگانی نام: رشته = ""
همگانی ورودی: رشته = ""
همگانی انتظار: رشته = ""
پایان
تابع نامک(عنوان: رشته): رشته:
برگشت رشته.جایگزینی(رشته.کوچک(عنوان)، " "، "-")
پایان
تابع بررسی(م: مورد):
نتیجه := نامک(م.ورودی)
آزمایش.ادعا با پیام(نتیجه == م.انتظار، م.نام + ": بهدستآمده [" + نتیجه + "] مورد انتظار [" + م.انتظار + "]")
پایان
تابع ریشه:
موردها := [
مورد { نام = "واژههای ساده"، ورودی = "Hello World"، انتظار = "hello-world" }،
مورد { نام = "فاصلهی پایانی"، ورودی = "Release notes "، انتظار = "release-notes" }،
مورد { نام = "یک واژه"، ورودی = "Salam"، انتظار = "salam" }
]
هر م در موردها:
بررسی(م)
پایان
شکستها := آزمایش.خلاصه()
سرچاپ "کد خروج:"، شکستها > ۰ ? ۱ : ۰
پایانگروهبندی آزمونهای هر تابع
پروندهی آزمون بلند وقتی خواناتر است که هر تابعِ زیر آزمون، تابع آزمون خودش را داشته باشد. ناموفق همهی شکستها تا این لحظه را میشمارد؛ آن را در ابتدای هر گروه نگه دارید و در پایان مقایسه کنید تا گروه را یکجا گزارش دهید.
واردسازی آزمایش
تابع محدود کن(م: صحیح، کمینه: صحیح، بیشینه: صحیح): صحیح:
اگر م < کمینه:
برگشت کمینه
پایان
اگر م > بیشینه:
برگشت بیشینه
پایان
برگشت م
پایان
تابع میانگین(مقدارها: وکتور<صحیح>): اعشار۶۴:
اگر مقدارها.طول() == ۰:
برگشت ۰.۰
پایان
ناپایا جمع := ۰
هر م در مقدارها:
جمع += م
پایان
برگشت جمع برگردان اعشار۶۴ / مقدارها.طول() برگردان اعشار۶۴
پایان
تابع گزارش(نام: رشته، شکست قبلی: صحیح):
اگر آزمایش.ناموفق() == شکست قبلی:
سرچاپ "درست"، نام
وگرنه:
سرچاپ "شکست"، نام
پایان
پایان
تابع آزمون محدود کن():
قبلی := آزمایش.ناموفق()
آزمایش.ادعای برابری عدد(محدود کن(۵، ۰، ۱۰)، ۵)
آزمایش.ادعای برابری عدد(محدود کن(-۳، ۰، ۱۰)، ۰)
آزمایش.ادعای برابری عدد(محدود کن(۴۲، ۰، ۱۰)، ۱۰)
گزارش("محدود کن"، قبلی)
پایان
تابع آزمون میانگین():
قبلی := آزمایش.ناموفق()
ناپایا م := وکتور {} برگردان وکتور<صحیح>
دیرکن م.آزادکن()
آزمایش.ادعای برابری اعشار(میانگین(م)، ۰.۰، ۰.۰۰۰۰۰۱)
م.بیفزا(۱)
م.بیفزا(۲)
م.بیفزا(۴)
آزمایش.ادعای برابری اعشار(میانگین(م)، ۲.۳۳۳۳۳۳، ۰.۰۰۰۰۱)
گزارش("میانگین"، قبلی)
پایان
تابع ریشه:
آزمون محدود کن()
آزمون میانگین()
برگشت آزمایش.خلاصه()
پایانعددهای اعشاری را با ادعای برابری اعشار و یک رواداری مقایسه کنید، هرگز با ==: ۷ تقسیم بر ۳ شکل دودویی دقیقی ندارد، پس رقمهای آخرش با هر عدد دهدهیای که بنویسید فرق میکند.
مسیرهای خطا را هم بیازمایید
کدی که وقتی چیزی خراب میشود اجرا میشود کمتر از همه اجرا میشود، پس آگاهانه آزمایشش کنید. برای تابعی که مشکل را با یک پارامتر خروجی خطا &: گزارش میدهد، آن را با ورودی نادرست صدا بزنید و هم نتیجه و هم پیام را بسنجید. ادعای شامل بودن فقط دنبال یک واژهی کلیدی میگردد، پس اگر جملهبندی پیام بهتر شود آزمون همچنان درست میماند.
واردسازی آزمایش
تابع خواندن درگاه(متن: رشته، خطا &: رشته): صحیح:
خطا = ""
اگر متن.طول() == ۰:
خطا = "درگاه خالی است"
برگشت ۰
پایان
عدد := متن.به صحیح()
اگر عدد < ۱ یا عدد > ۶۵۵۳۵:
خطا = "درگاه باید میان ۱ و ۶۵۵۳۵ باشد"
برگشت ۰
پایان
برگشت عدد
پایان
تابع ریشه:
ناپایا خطا := ""
آزمایش.ادعای برابری عدد(خواندن درگاه("۸۰۸۰"، خطا)، ۸۰۸۰)
آزمایش.ادعای برابری رشته(خطا، "")
آزمایش.ادعای برابری عدد(خواندن درگاه(""، خطا)، ۰)
آزمایش.ادعای شامل بودن(خطا، "خالی")
آزمایش.ادعای برابری عدد(خواندن درگاه("۷۰۰۰۰"، خطا)، ۰)
آزمایش.ادعای نابرابری رشته(خطا، "")
آزمایش.ادعای شامل بودن(خطا، "۶۵۵۳۵")
برگشت آزمایش.خلاصه()
پایانشکست چه شکلی دارد
ادعای ناموفق یک خط FAIL: با مقدار گرفتهشده و مقدار مورد انتظار چاپ میکند و برنامه با بررسی بعدی ادامه میدهد. خطهای شکست به خطای استاندارد و خلاصه به خروجی استاندارد میروند؛ پس گزارش CI هر دو را نشان میدهد ولی با لوله میشود جدایشان کرد.
واردسازی آزمایش
تابع حروف اول(نام: رشته): رشته:
تکهها := نام.بشکاف(" ")
ناپایا نتیجه := ""
هر ت در تکهها:
نتیجه += ت.زیررشته(۰، ۱)
پایان
برگشت نتیجه
پایان
تابع ریشه:
آزمایش.ادعای برابری رشته(حروف اول("Ada Lovelace")، "AL")
آزمایش.ادعای برابری رشته(حروف اول("grace hopper")، "GH")
آزمایش.ادعای برابری عدد(آزمایش.ناموفق()، ۱)
شکستها := آزمایش.خلاصه()
سرچاپ "کد خروجیای که CI میبیند:"، شکستها
پایاناین نمونه تعداد شکستها را چاپ میکند و برنمیگرداند تا این صفحه بتواند خروجیاش را نشان دهد. پروندهی آزمون واقعی با برگشت آزمایش.خلاصه() تمام میشود و همین کد خروج غیرصفر است که کار CI را شکستخورده میکند.
کدام ادعا را به کار ببرید
| چه چیزی را میسنجید | از این استفاده کنید | چرا |
|---|---|---|
| دو عدد صحیح | ادعای برابری عدد، ادعای برابری عدد۶۴ | پیام هر دو مقدار را نشان میدهد |
| دو رشته | ادعای برابری رشته | پیام هر دو رشته را نشان میدهد |
| عدد اعشاری | ادعای برابری اعشار با رواداری کوچک | گرد کردن، == را نامطمئن میکند |
| بخشی از یک متن بلندتر | ادعای شامل بودن | با تغییر بقیهی متن نمیشکند |
| اینکه چیزی عوض شده | ادعای نابرابری عدد، ادعای نابرابری رشته | برای شناسه، توکن و درهمساز |
| اشارهگری مقدار گرفته یا نگرفته | ادعای خالی بودن، ادعای خالی نبودن | برای کتابخانههای C و تخصیص حافظه |
| هر شرط دیگر | ادعا با پیام | با واژهها بگویید چه چیزی خراب شد |
ادعاهای مشخص را به ادعا ترجیح دهید. «ints differ: got 4 want 5» خیلی بیشتر از «assertion failed» به شما میگوید. بازنشانی هر دو شمارنده را صفر میکند، برای برنامهای که چند مجموعهی آزمون جدا را پشت سر هم اجرا میکند.
تابعها
ادعا Assert
تابع ادعا(cond: منطقی)FAIL: assertion failed چاپ میشود. ادعایی را ترجیح دهید که بیشتر بگوید.واردسازی حافظه
واردسازی آزمایش
تابع جمع(الف: صحیح، ب: صحیح): صحیح:
برگشت الف + ب
پایان
تابع ریشه:
آزمایش.بازنشانی()
آزمایش.ادعا(جمع(۲، ۲) == ۴)
آزمایش.ادعا با پیام(جمع(۱، ۱) == ۲، "یک و یک")
آزمایش.ادعای درستی(درست)
آزمایش.ادعای نادرستی(جمع(۰، ۰) == ۱)
آزمایش.ادعای برابری عدد(جمع(۳، ۴)، ۷)
آزمایش.ادعای برابری عدد۶۴(۱۰۰۰۰۰۰۰۰۰۰ برگردان صحیح۶۴، ۱۰۰۰۰۰۰۰۰۰۰ برگردان صحیح۶۴)
آزمایش.ادعای برابری اعشار(۰.۱ + ۰.۲، ۰.۳، ۰.۰۰۰۱)
آزمایش.ادعای شامل بودن("زبان سلام"، "سلام")
آزمایش.ادعای برابری رشته("سلام"، "سلام")
آزمایش.ادعای برابری منطقی(۱ < ۲، درست)
آزمایش.ادعای نابرابری عدد(۱، ۲)
آزمایش.ادعای نابرابری رشته("الف"، "ب")
آزمایش.ادعای خالی بودن(پوچ)
متغیر_block := حافظه.تخصیص(۸ برگردان طبیعی۶۴)
آزمایش.ادعای خالی نبودن(متغیر_block)
حافظه.آزادسازی(متغیر_block)
آزمایش.ادعای برابری عدد(جمع(۲، ۲)، ۵)
سرچاپ آزمایش.موفق()، آزمایش.ناموفق()
سرچاپ آزمایش.خلاصه()
پایانادعا با پیام AssertMsg
تابع ادعا با پیام(cond: منطقی، msg: رشته)ادعا، با پیام خودتان پس از FAIL: .نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای درستی AssertTrue
تابع ادعای درستی(cond: منطقی)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای نادرستی AssertFalse
تابع ادعای نادرستی(cond: منطقی)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای برابری عدد AssertEqInt
تابع ادعای برابری عدد(got: صحیح، want: صحیح)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای برابری عدد۶۴ AssertEqInt64
تابع ادعای برابری عدد۶۴(got: صحیح۶۴، want: صحیح۶۴)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای برابری اعشار AssertEqFloat
تابع ادعای برابری اعشار(got: اعشار۶۴، want: اعشار۶۴، eps: اعشار۶۴)eps میتوانند فرق داشته باشند. هرگز عددهای اعشاری را با == مقایسه نکنید.نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای شامل بودن AssertContains
تابع ادعای شامل بودن(hay: رشته، needle: رشته)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای برابری رشته AssertEqStr
تابع ادعای برابری رشته(got: رشته، want: رشته)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای برابری منطقی AssertEqBool
تابع ادعای برابری منطقی(got: منطقی، want: منطقی)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای نابرابری عدد AssertNeInt
تابع ادعای نابرابری عدد(a: صحیح، b: صحیح)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای نابرابری رشته AssertNeStr
تابع ادعای نابرابری رشته(a: رشته، b: رشته)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای خالی بودن AssertNil
تابع ادعای خالی بودن(p: تهی*)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ادعای خالی نبودن AssertNotNil
تابع ادعای خالی نبودن(p: تهی*)نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
بازنشانی Reset
تابع بازنشانی()نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
موفق Passed
تابع موفق(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
ناموفق Failed
تابع ناموفق(): صحیحنمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
خلاصه Summary
تابع خلاصه(): صحیح-- و tests: N passed, M failed را در خروجی استاندارد چاپ میکند و تعداد شکستها را برمیگرداند.نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Assert.salam
قالب گزارش SetFormat
تابع قالب گزارش(format: رشته)شروع آزمون، اتمام آزمون و جمعبندی آزمونها چگونه گزارش دهند: "teamcity" پیامهای TeamCity چاپ میکند که محیطهای JetBrains و سرورهای CI آن را درخت آزمونها میخوانند؛ هر مقدار دیگر خطهای ساده چاپ میکند. salam test خودش آن را صدا میزند.واردسازی آزمایش
تابع جمع(الف: صحیح، ب: صحیح): صحیح:
برگشت الف + ب
پایان
تابع ریشه:
آزمایش.قالب گزارش("human")
آزمایش.پالایه آزمون("add")
آزمایش.شروع مجموعه("testing-Runner.salam")
اگر آزمایش.انتخاب شده("test_add"):
آزمایش.شروع آزمون("test_add"، ۱۲)
آزمایش.ادعای برابری عدد(جمع(۲، ۲)، ۴)
آزمایش.اتمام آزمون()
پایان
اگر آزمایش.انتخاب شده("test_add_zero"):
آزمایش.شروع آزمون("test_add_zero"، ۱۷)
آزمایش.ادعای برابری عدد(جمع(۵، ۰)، ۵)
آزمایش.اتمام آزمون()
پایان
آزمایش.جمعبندی آزمونها()
پایانپالایه آزمون SetFilter
تابع پالایه آزمون(part: رشته)salam test --run=... آن را تنظیم میکند.نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Runner.salam
انتخاب شده Selected
تابع انتخاب شده(name: رشته): منطقینمونهی این مورد همراه با موارد بالاتر آمده است: testing-Runner.salam
شروع مجموعه SuiteStart
تابع شروع مجموعه(file: رشته)salam test خودش آن را صدا میزند.نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Runner.salam
شروع آزمون Begin
تابع شروع آزمون(name: رشته، line: صحیح)اتمام آزمون ثبت شوند مال همین آزموناند.نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Runner.salam
اتمام آزمون End
تابع اتمام آزمون()نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Runner.salam
جمعبندی آزمونها Finish
تابع جمعبندی آزمونها()نمونهی این مورد همراه با موارد بالاتر آمده است: testing-Runner.salam