کتابخانه‌ی استاندارد · متن

عربی arabic

یکسان‌سازی متن فارسی و عربی: ی و ک عربی، اعراب، کشیده، نیم‌فاصله و رقم‌ها؛ برای جستجو و مقایسه.

واردسازی عربی

نام آرگومان‌ها شناسه‌ی خود کد است و معادل فارسی ندارد؛ گونه‌ها، کلیدواژه‌ها و نام بسته‌ها با معادل فارسی نوشته می‌شوند.

متن فارسی از منبع‌های مختلف یک‌جور نمی‌رسد. یکی «كتاب» را با کاف عربی می‌نویسد و دیگری با کاف فارسی؛ یکی اعراب می‌گذارد، یکی کشیده (ـــ)، و بعضی متن‌ها، مثلاً آن‌هایی که از PDF آمده‌اند، شکل‌های نمایشی حرف‌ها را دارند. به چشم همه یکی‌اند، اما کامپیوتر آن‌ها را متفاوت می‌بیند و جستجو شکست می‌خورد.

بسته‌ی عربی این تفاوت‌ها را از بین می‌برد. هنجارسازی با پرچم‌هایی که انتخاب می‌کنید کار می‌کند؛ پرچم‌ها را با + با هم ترکیب کنید. برای بیشتر کارها هنجارسازی فارسی یا کلید جستجو کافی است.

این بسته با حرف‌ها کار می‌کند. برای عوض کردن شکل رقم‌ها، رشته تابع‌های به رقم فارسی و به رقم انگلیسی را دارد؛ شکل‌های کلی یونیکد که این بسته بر پایه‌شان کار می‌کند در رشته.ترکیب سازگاری و یونیکد است؛ و برای نمایش متن آمیخته‌ی فارسی و انگلیسی به ترتیب درست، دوسویه را ببینید.

چند نکته که معمولاً غافلگیر می‌کند:

  • یکسان سازی شکل نمایشی، که هنجارسازی فارسی و کلید جستجو هر دو به کارش می‌برند، کل رشته را از رشته.ترکیب سازگاری می‌گذراند. این کار نویسه‌های بیرون از خط عربی را هم بازنویسی می‌کند: پیوندنویسه‌ی fi می‌شود fi، ² می‌شود 2 و ½ می‌شود 1⁄2. معمولاً همین را می‌خواهید، ولی برای یک فرمول نه.
  • فاصله و نیم‌فاصله برای کلید یکی نیستند: کلید جستجو نیم‌فاصله را حذف می‌کند؛ پس هوش‌مند با هوشمند جور درمی‌آید، اما با هوش مند نه.
  • کلید جستجو فقط حرف‌های ASCII را کوچک می‌کند؛ پس Café و CAFÉ هنوز دو کلید متفاوت دارند.

برای هر متن ذخیره‌شده یک بار کلید جستجو بسازید، یکی هم برای پرسش، و به‌جای رشته‌های اصلی کلیدها را با هم مقایسه کنید. آن‌وقت پرسشی که با صفحه‌کلید عربی نوشته شده (كتاب با کاف عربی، ايران با یای عربی) عنوان‌های فارسی را پیدا می‌کند، و مدرسة با تای گرد، مدرسهٔ را.

arabic-guide-search.salam
واردسازی عربی
واردسازی رشته

تابع ریشه:
    عنوان‌ها := ["کتاب آموزش برنامه‌نویسی"، "تاریخ ایران"، "دستور زبان فارسی"، "مدرسهٔ عشق"]
    ناپایا کلیدها := وکتور {} برگردان وکتور<رشته>
    دیرکن کلیدها.آزادکن()
    هر ع در عنوان‌ها:
        کلیدها.بیفزا(عربی.کلید جستجو(ع))
    پایان
    هر پرسش در ["كتاب"، "برنامه نویسی"، "ايران"، "مدرسة"، "فارسي"]:
        ک := عربی.کلید جستجو(پرسش)
        ناپایا یافته‌ها := ۰
        هر ش، کلید در کلیدها:
            اگر رشته.شامل است(کلید، ک):
                سرچاپ "[" + پرسش + "]"، "پیدا شد:"، عنوان‌ها[ش]
                یافته‌ها++
            پایان
        پایان
        اگر یافته‌ها == ۰:
            سرچاپ "[" + پرسش + "]"، "چیزی پیدا نشد"
        پایان
    پایان
پایان
خروجی[كتاب] پیدا شد: کتاب آموزش برنامه‌نویسی [برنامه نویسی] چیزی پیدا نشد [ايران] پیدا شد: تاریخ ایران [مدرسة] پیدا شد: مدرسهٔ عشق [فارسي] پیدا شد: دستور زبان فارسی

یکی از پرسش‌ها چیزی پیدا نمی‌کند و رایج‌ترین دام را نشان می‌دهد: برنامه نویسی با فاصله نوشته شده، اما عنوان نیم‌فاصله دارد. کلید نیم‌فاصله را برمی‌دارد، پس عنوان یک واژه می‌شود و پرسش دو واژه می‌ماند. اگر کاربران شما این دو را قاطی می‌کنند، پیش از مقایسه فاصله‌ها را هم با رشته.جایگزینی(کلید، " "، "") از هر دو کلید بردارید. همیشه عنوان اصلی را به کاربر نشان دهید، نه کلید را.

پیدا کردن نام‌های تکراری

یک نفر وقتی به دست کاربران مختلف وارد شود، ممکن است با یای عربی، با کشیده یا با همزه روی الف برسد. اگر کلید جستجو را کلید یک نگاشت کنید، این املاها کنار هم قرار می‌گیرند و فرم ثبت‌نام یا ورود داده می‌تواند درباره‌ی تکراری‌ها هشدار دهد.

arabic-guide-dedupe.salam
واردسازی عربی

تابع ریشه:
    نوشته‌ها := ["علی رضایی"، "علي رضايي"، "عـلی رضایی"، "مریم احمدی"، "مريم أحمدي"، "سارا کریمی"]
    ناپایا دیده‌ها := نگاشت {} برگردان نگاشت<رشته، رشته>
    دیرکن دیده‌ها.آزادکن()
    هر نام در نوشته‌ها:
        کلید := عربی.کلید جستجو(نام)
        اگر دیده‌ها.دارد(کلید):
            سرچاپ "تکراری:"، نام، "همان"، دیده‌ها.بگیر(کلید)، "است"
        وگرنه:
            دیده‌ها.درج(کلید، نام)
        پایان
    پایان
    سرچاپ دیده‌ها.اندازه()، "نفر متفاوت"
پایان
خروجیتکراری: علي رضايي همان علی رضایی است تکراری: عـلی رضایی همان علی رضایی است تکراری: مريم أحمدي همان مریم احمدی است 3 نفر متفاوت

نگاشت نخستین املایی را که دیده نگه می‌دارد؛ همان را نگه دارید و نمایش دهید. وقتی فقط دو رشته را مقایسه می‌کنید و نگاشتی لازم نیست، یکسان تقریبی همین مقایسه را انجام می‌دهد.

پاک‌سازی متن برای نمایش یا برای یک فیلد

متنی که آدم‌ها می‌خوانند و متنی که برنامه مقایسه می‌کند به رفتار متفاوتی نیاز دارند. هنجارسازی فارسی برای نمایش است: حرف‌ها و شکل‌های نمایشی‌ای را که PDFها می‌سازند درست می‌کند و کشیده را برمی‌دارد، اما اعراب، نیم‌فاصله و رقم‌ها را نگه می‌دارد تا متن همان‌طور که نوشته شده خوانده شود. برای فیلدی مثل نام کاربری، دقیقاً همان پرچم‌هایی را که می‌خواهید با + ترکیب کنید.

arabic-guide-clean.salam
واردسازی عربی

تابع ریشه:
    چسبانده := "ﻛﺘﺎﺏ مـــی‌خواهم، كيفيت ۱۰۰٪"
    نمایشی := عربی.هنجارسازی فارسی(چسبانده)
    سرچاپ "برای نمایش:"، نمایشی
    پرچم نام کاربری := عربی.یکسان سازی حروف + عربی.حذف کشیده + عربی.یکسان سازی رقم ها + عربی.یکسان سازی شکل نمایشی
    سرچاپ "نام کاربری:"، عربی.هنجارسازی("علي_۱۳۷۰ـ"، پرچم نام کاربری)
    سرچاپ "با اعراب:"، عربی.هنجارسازی("آموزشِ زبان"، عربی.یکسان سازی حروف)
    سرچاپ "بی اعراب:"، عربی.هنجارسازی("آموزشِ زبان"، عربی.حذف اعراب)
    سرچاپ "برابری آسان‌گیر:"، عربی.یکسان تقریبی(نمایشی، "کتاب میخواهم، کیفیت 100٪")
پایان
خروجیبرای نمایش: کتاب می‌خواهم، کیفیت ۱۰۰٪ نام کاربری: علی_1370 با اعراب: آموزشِ زبان بی اعراب: آموزش زبان برابری آسان‌گیر: true
هدفابزار
متنی که آدم‌ها می‌خوانندهنجارسازی فارسی
جست‌وجو، نمایه و بررسی تکراریکلید جستجو، یکسان تقریبی
نام کاربری یا شناسههنجارسازی با یکسان سازی حروف + حذف کشیده + یکسان سازی رقم ها + یکسان سازی شکل نمایشی
برداشتن فقط اعرابهنجارسازی با حذف اعراب
بررسی تک‌نویسهخط عربی است، اعراب است، کشیده است

متن اصلی را نگه دارید و کلید را کنارش ذخیره کنید، مثلاً در یک ستون جداگانه‌ی پایگاه داده، نه این‌که متن را با کلید بازنویسی کنید. کلید عمداً بخشی از اطلاعات را دور می‌ریزد و برگشت‌پذیر نیست.

پایاها و متغیرها

یکسان سازی حروف FoldLetters

پایا یکسان سازی حروف: صحیح۳۲ = 1
پرچم: حرف‌های عربی را به هم‌تای فارسی‌شان تبدیل می‌کند: «ي»، «ى»، «ے» و «ۓ» را به «ی»، و «ك»، «ڪ» و «ګ» را به «ک».
arabic-Normalize.salam
واردسازی عربی

تابع ریشه:
    متن := "كتابٌ عربيّة ـــ ٣٤ ﻻ"
    سرچاپ عربی.هنجارسازی فارسی(متن)
    سرچاپ عربی.هنجارسازی(متن، عربی.حذف اعراب)
    سرچاپ عربی.هنجارسازی(متن، عربی.یکسان سازی حروف + عربی.یکسان سازی رقم ها)
    سرچاپ عربی.هنجارسازی("می‌خواهم"، عربی.حذف نیم فاصله)
    سرچاپ عربی.هنجارسازی("أحمد إيران"، عربی.یکسان سازی الف)
    سرچاپ عربی.هنجارسازی("مدرسة"، عربی.یکسان سازی ته گرد)
    سرچاپ عربی.هنجارسازی("ﻻ ﻣﺮﺣﺒﺎ"، عربی.یکسان سازی شکل نمایشی)
    سرچاپ عربی.هنجارسازی("ســلام"، عربی.حذف کشیده)
پایان
خروجیکتابٌ عربیّة ٣٤ لا كتاب عربية ـــ ٣٤ ﻻ کتابٌ عربیّة ـــ 34 ﻻ میخواهم احمد ايران مدرسه لا مرحبا سلام

حذف اعراب StripHarakat

پایا حذف اعراب: صحیح۳۲ = 2
پرچم: اعراب را حذف می‌کند: فتحه، کسره، ضمه، تنوین، تشدید، همزه‌ی بالا و پایین، الف کوچک بالای حرف و نشانه‌های قرآنی. حرف یکپارچه‌ی «ۀ» هم مثل «هٔ» که همزه‌اش جداست، «ه» می‌شود.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

حذف کشیده StripTatweel

پایا حذف کشیده: صحیح۳۲ = 4
پرچم: کشیده (ـ) را حذف می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

یکسان سازی رقم ها FoldDigits

پایا یکسان سازی رقم ها: صحیح۳۲ = 8
پرچم: رقم‌های فارسی و عربی را به رقم انگلیسی تبدیل می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

یکسان سازی الف FoldAlef

پایا یکسان سازی الف: صحیح۳۲ = 16
پرچم: شکل‌های مختلف الف (أ، إ، آ) را به «ا» تبدیل می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

یکسان سازی ته گرد FoldTehMarbuta

پایا یکسان سازی ته گرد: صحیح۳۲ = 32
پرچم: «ة» را به «ه» تبدیل می‌کند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

حذف نیم فاصله StripZWNJ

پایا حذف نیم فاصله: صحیح۳۲ = 64
پرچم: نیم‌فاصله را حذف می‌کند تا «می‌خواهم» و «میخواهم» یکی شوند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

یکسان سازی شکل نمایشی FoldPresentation

پایا یکسان سازی شکل نمایشی: صحیح۳۲ = 128
پرچم: شکل‌های نمایشی حرف‌ها (مثل «ﻻ» و «ﻣ») را به حرف‌های معمولی برمی‌گرداند. این کار با رشته.ترکیب سازگاری روی کل رشته انجام می‌شود؛ پس نویسه‌های سازگاری دیگر، مثل پیوندنویسه‌ها و رقم‌های بالانویس، هم بازنویسی می‌شوند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

تابع‌ها

خط عربی است IsArabicScript

تابع خط عربی است(cp: صحیح): منطقی
اگر نویسه از خط عربی باشد، که حرف‌های فارسی هم جزو آن‌اند، درست برمی‌گرداند.
arabic-IsArabicScript.salam
واردسازی عربی

تابع ریشه:
    سرچاپ عربی.خط عربی است(۱۵۸۸)، عربی.خط عربی است(۶۵)
    سرچاپ عربی.اعراب است(۱۶۱۴)، عربی.اعراب است(۱۵۸۸)
    سرچاپ عربی.کشیده است(۱۶۰۰)، عربی.کشیده است(۱۵۸۸)
پایان
خروجیtrue false true false true false

اعراب است IsHaraka

تابع اعراب است(cp: صحیح): منطقی
اگر نویسه یکی از اعراب باشد، درست برمی‌گرداند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-IsArabicScript.salam

کشیده است IsTatweel

تابع کشیده است(cp: صحیح): منطقی
اگر نویسه کشیده (ـ) باشد، درست برمی‌گرداند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-IsArabicScript.salam

هنجارسازی Normalize

تابع هنجارسازی(s: رشته، flags: صحیح): رشته
متن را با پرچم‌هایی که داده‌اید یکسان می‌کند. هر پرچمی که نیاورید، آن جنبه‌ی متن دست‌نخورده می‌ماند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

هنجارسازی فارسی NormalizePersian

تابع هنجارسازی فارسی(s: رشته): رشته
یکسان‌سازی پیش‌فرض برای متن فارسی: حرف‌های عربی را فارسی می‌کند، کشیده را برمی‌دارد و شکل‌های نمایشی را باز می‌کند، ولی اعراب، نیم‌فاصله و رقم‌ها را نگه می‌دارد تا متن همان‌طور که نوشته شده خوانا بماند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-Normalize.salam

کلید جستجو SearchKey

تابع کلید جستجو(s: رشته): رشته
کلیدی برای جستجو می‌سازد: همه‌ی پرچم‌ها را روی متن اعمال می‌کند و بعد حرف‌های ASCII را کوچک می‌کند تا دو نوشته‌ای که خواننده یکی می‌بیند، کلید یکسان داشته باشند. کلید را برای نمایش به کار نبرید؛ فقط برای مقایسه و نمایه‌سازی است.
arabic-SearchKey.salam
واردسازی عربی

تابع ریشه:
    سرچاپ عربی.کلید جستجو("كتابٌ")، عربی.کلید جستجو("کتاب")
    سرچاپ عربی.یکسان تقریبی("مي‌خواهم"، "میخواهم")
    سرچاپ عربی.یکسان تقریبی("سلام"، "کلام")
پایان
خروجیکتاب کتاب true false

یکسان تقریبی EqualLoose

تابع یکسان تقریبی(a: رشته، b: رشته): منطقی
دو متن را بعد از ساختن کلید جستجو مقایسه می‌کند؛ «مي‌خواهم» و «میخواهم» یکی حساب می‌شوند.

نمونه‌ی این مورد همراه با موارد بالاتر آمده است: arabic-SearchKey.salam