عربی arabic
یکسانسازی متن فارسی و عربی: ی و ک عربی، اعراب، کشیده، نیمفاصله و رقمها؛ برای جستجو و مقایسه.
واردسازی عربی
نام آرگومانها شناسهی خود کد است و معادل فارسی ندارد؛ گونهها، کلیدواژهها و نام بستهها با معادل فارسی نوشته میشوند.
متن فارسی از منبعهای مختلف یکجور نمیرسد. یکی «كتاب» را با کاف عربی مینویسد و دیگری با کاف فارسی؛ یکی اعراب میگذارد، یکی کشیده (ـــ)، و بعضی متنها، مثلاً آنهایی که از PDF آمدهاند، شکلهای نمایشی حرفها را دارند. به چشم همه یکیاند، اما کامپیوتر آنها را متفاوت میبیند و جستجو شکست میخورد.
بستهی عربی این تفاوتها را از بین میبرد. هنجارسازی با پرچمهایی که انتخاب میکنید کار میکند؛ پرچمها را با + با هم ترکیب کنید. برای بیشتر کارها هنجارسازی فارسی یا کلید جستجو کافی است.
این بسته با حرفها کار میکند. برای عوض کردن شکل رقمها، رشته تابعهای به رقم فارسی و به رقم انگلیسی را دارد؛ شکلهای کلی یونیکد که این بسته بر پایهشان کار میکند در رشته.ترکیب سازگاری و یونیکد است؛ و برای نمایش متن آمیختهی فارسی و انگلیسی به ترتیب درست، دوسویه را ببینید.
چند نکته که معمولاً غافلگیر میکند:
یکسان سازی شکل نمایشی، کههنجارسازی فارسیوکلید جستجوهر دو به کارش میبرند، کل رشته را ازرشته.ترکیب سازگاریمیگذراند. این کار نویسههای بیرون از خط عربی را هم بازنویسی میکند: پیوندنویسهیfiمیشودfi،²میشود2و½میشود1⁄2. معمولاً همین را میخواهید، ولی برای یک فرمول نه.- فاصله و نیمفاصله برای کلید یکی نیستند:
کلید جستجونیمفاصله را حذف میکند؛ پسهوشمندباهوشمندجور درمیآید، اما باهوش مندنه. کلید جستجوفقط حرفهای ASCII را کوچک میکند؛ پسCaféوCAFÉهنوز دو کلید متفاوت دارند.
جستوجوی عنوانها با هر املایی
برای هر متن ذخیرهشده یک بار کلید جستجو بسازید، یکی هم برای پرسش، و بهجای رشتههای اصلی کلیدها را با هم مقایسه کنید. آنوقت پرسشی که با صفحهکلید عربی نوشته شده (كتاب با کاف عربی، ايران با یای عربی) عنوانهای فارسی را پیدا میکند، و مدرسة با تای گرد، مدرسهٔ را.
واردسازی عربی
واردسازی رشته
تابع ریشه:
عنوانها := ["کتاب آموزش برنامهنویسی"، "تاریخ ایران"، "دستور زبان فارسی"، "مدرسهٔ عشق"]
ناپایا کلیدها := وکتور {} برگردان وکتور<رشته>
دیرکن کلیدها.آزادکن()
هر ع در عنوانها:
کلیدها.بیفزا(عربی.کلید جستجو(ع))
پایان
هر پرسش در ["كتاب"، "برنامه نویسی"، "ايران"، "مدرسة"، "فارسي"]:
ک := عربی.کلید جستجو(پرسش)
ناپایا یافتهها := ۰
هر ش، کلید در کلیدها:
اگر رشته.شامل است(کلید، ک):
سرچاپ "[" + پرسش + "]"، "پیدا شد:"، عنوانها[ش]
یافتهها++
پایان
پایان
اگر یافتهها == ۰:
سرچاپ "[" + پرسش + "]"، "چیزی پیدا نشد"
پایان
پایان
پایانیکی از پرسشها چیزی پیدا نمیکند و رایجترین دام را نشان میدهد: برنامه نویسی با فاصله نوشته شده، اما عنوان نیمفاصله دارد. کلید نیمفاصله را برمیدارد، پس عنوان یک واژه میشود و پرسش دو واژه میماند. اگر کاربران شما این دو را قاطی میکنند، پیش از مقایسه فاصلهها را هم با رشته.جایگزینی(کلید، " "، "") از هر دو کلید بردارید. همیشه عنوان اصلی را به کاربر نشان دهید، نه کلید را.
پیدا کردن نامهای تکراری
یک نفر وقتی به دست کاربران مختلف وارد شود، ممکن است با یای عربی، با کشیده یا با همزه روی الف برسد. اگر کلید جستجو را کلید یک نگاشت کنید، این املاها کنار هم قرار میگیرند و فرم ثبتنام یا ورود داده میتواند دربارهی تکراریها هشدار دهد.
واردسازی عربی
تابع ریشه:
نوشتهها := ["علی رضایی"، "علي رضايي"، "عـلی رضایی"، "مریم احمدی"، "مريم أحمدي"، "سارا کریمی"]
ناپایا دیدهها := نگاشت {} برگردان نگاشت<رشته، رشته>
دیرکن دیدهها.آزادکن()
هر نام در نوشتهها:
کلید := عربی.کلید جستجو(نام)
اگر دیدهها.دارد(کلید):
سرچاپ "تکراری:"، نام، "همان"، دیدهها.بگیر(کلید)، "است"
وگرنه:
دیدهها.درج(کلید، نام)
پایان
پایان
سرچاپ دیدهها.اندازه()، "نفر متفاوت"
پایاننگاشت نخستین املایی را که دیده نگه میدارد؛ همان را نگه دارید و نمایش دهید. وقتی فقط دو رشته را مقایسه میکنید و نگاشتی لازم نیست، یکسان تقریبی همین مقایسه را انجام میدهد.
پاکسازی متن برای نمایش یا برای یک فیلد
متنی که آدمها میخوانند و متنی که برنامه مقایسه میکند به رفتار متفاوتی نیاز دارند. هنجارسازی فارسی برای نمایش است: حرفها و شکلهای نمایشیای را که PDFها میسازند درست میکند و کشیده را برمیدارد، اما اعراب، نیمفاصله و رقمها را نگه میدارد تا متن همانطور که نوشته شده خوانده شود. برای فیلدی مثل نام کاربری، دقیقاً همان پرچمهایی را که میخواهید با + ترکیب کنید.
واردسازی عربی
تابع ریشه:
چسبانده := "ﻛﺘﺎﺏ مـــیخواهم، كيفيت ۱۰۰٪"
نمایشی := عربی.هنجارسازی فارسی(چسبانده)
سرچاپ "برای نمایش:"، نمایشی
پرچم نام کاربری := عربی.یکسان سازی حروف + عربی.حذف کشیده + عربی.یکسان سازی رقم ها + عربی.یکسان سازی شکل نمایشی
سرچاپ "نام کاربری:"، عربی.هنجارسازی("علي_۱۳۷۰ـ"، پرچم نام کاربری)
سرچاپ "با اعراب:"، عربی.هنجارسازی("آموزشِ زبان"، عربی.یکسان سازی حروف)
سرچاپ "بی اعراب:"، عربی.هنجارسازی("آموزشِ زبان"، عربی.حذف اعراب)
سرچاپ "برابری آسانگیر:"، عربی.یکسان تقریبی(نمایشی، "کتاب میخواهم، کیفیت 100٪")
پایان| هدف | ابزار |
|---|---|
| متنی که آدمها میخوانند | هنجارسازی فارسی |
| جستوجو، نمایه و بررسی تکراری | کلید جستجو، یکسان تقریبی |
| نام کاربری یا شناسه | هنجارسازی با یکسان سازی حروف + حذف کشیده + یکسان سازی رقم ها + یکسان سازی شکل نمایشی |
| برداشتن فقط اعراب | هنجارسازی با حذف اعراب |
| بررسی تکنویسه | خط عربی است، اعراب است، کشیده است |
متن اصلی را نگه دارید و کلید را کنارش ذخیره کنید، مثلاً در یک ستون جداگانهی پایگاه داده، نه اینکه متن را با کلید بازنویسی کنید. کلید عمداً بخشی از اطلاعات را دور میریزد و برگشتپذیر نیست.
پایاها و متغیرها
یکسان سازی حروف FoldLetters
پایا یکسان سازی حروف: صحیح۳۲ = 1واردسازی عربی
تابع ریشه:
متن := "كتابٌ عربيّة ـــ ٣٤ ﻻ"
سرچاپ عربی.هنجارسازی فارسی(متن)
سرچاپ عربی.هنجارسازی(متن، عربی.حذف اعراب)
سرچاپ عربی.هنجارسازی(متن، عربی.یکسان سازی حروف + عربی.یکسان سازی رقم ها)
سرچاپ عربی.هنجارسازی("میخواهم"، عربی.حذف نیم فاصله)
سرچاپ عربی.هنجارسازی("أحمد إيران"، عربی.یکسان سازی الف)
سرچاپ عربی.هنجارسازی("مدرسة"، عربی.یکسان سازی ته گرد)
سرچاپ عربی.هنجارسازی("ﻻ ﻣﺮﺣﺒﺎ"، عربی.یکسان سازی شکل نمایشی)
سرچاپ عربی.هنجارسازی("ســلام"، عربی.حذف کشیده)
پایانحذف اعراب StripHarakat
پایا حذف اعراب: صحیح۳۲ = 2نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
حذف کشیده StripTatweel
پایا حذف کشیده: صحیح۳۲ = 4نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
یکسان سازی رقم ها FoldDigits
پایا یکسان سازی رقم ها: صحیح۳۲ = 8نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
یکسان سازی الف FoldAlef
پایا یکسان سازی الف: صحیح۳۲ = 16نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
یکسان سازی ته گرد FoldTehMarbuta
پایا یکسان سازی ته گرد: صحیح۳۲ = 32نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
حذف نیم فاصله StripZWNJ
پایا حذف نیم فاصله: صحیح۳۲ = 64نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
یکسان سازی شکل نمایشی FoldPresentation
پایا یکسان سازی شکل نمایشی: صحیح۳۲ = 128رشته.ترکیب سازگاری روی کل رشته انجام میشود؛ پس نویسههای سازگاری دیگر، مثل پیوندنویسهها و رقمهای بالانویس، هم بازنویسی میشوند.نمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
تابعها
خط عربی است IsArabicScript
تابع خط عربی است(cp: صحیح): منطقیواردسازی عربی
تابع ریشه:
سرچاپ عربی.خط عربی است(۱۵۸۸)، عربی.خط عربی است(۶۵)
سرچاپ عربی.اعراب است(۱۶۱۴)، عربی.اعراب است(۱۵۸۸)
سرچاپ عربی.کشیده است(۱۶۰۰)، عربی.کشیده است(۱۵۸۸)
پایاناعراب است IsHaraka
تابع اعراب است(cp: صحیح): منطقینمونهی این مورد همراه با موارد بالاتر آمده است: arabic-IsArabicScript.salam
کشیده است IsTatweel
تابع کشیده است(cp: صحیح): منطقینمونهی این مورد همراه با موارد بالاتر آمده است: arabic-IsArabicScript.salam
هنجارسازی Normalize
تابع هنجارسازی(s: رشته، flags: صحیح): رشتهنمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
هنجارسازی فارسی NormalizePersian
تابع هنجارسازی فارسی(s: رشته): رشتهنمونهی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam
کلید جستجو SearchKey
تابع کلید جستجو(s: رشته): رشتهواردسازی عربی
تابع ریشه:
سرچاپ عربی.کلید جستجو("كتابٌ")، عربی.کلید جستجو("کتاب")
سرچاپ عربی.یکسان تقریبی("ميخواهم"، "میخواهم")
سرچاپ عربی.یکسان تقریبی("سلام"، "کلام")
پایانیکسان تقریبی EqualLoose
تابع یکسان تقریبی(a: رشته، b: رشته): منطقینمونهی این مورد همراه با موارد بالاتر آمده است: arabic-SearchKey.salam