کتابخانه‌ی استاندارد · یادگیری ماشین

جی‌جی‌یو‌اف `gguf`

خواندن پرونده‌های مدل GGUF، قالب llama.cpp.

واردسازی جی‌جی‌یو‌اف

در این صفحه

گونه‌ها
پایاها و متغیرها
روال‌ها

GGUF قالب پرونده‌ی llama.cpp برای مدل‌های زبانی بزرگ است. یک پرونده فراداده، مثل معماری و واژگان توکنایزر، و وزن‌ها را، اغلب کوانتیزه، نگه می‌دارد. بارگذاری جی‌جی‌یو‌اف فقط سرآیند را می‌خواند و بارگذاری تانسور اعشاری هر وزن را هر وقت لازم شد به تانسور تبدیل می‌کند.

نمونه‌ی زیر یک پرونده‌ی کوچک می‌سازد تا بی دانلود مدل اجرا شود.

گونه‌ها

مقدار فراداده `MetaValue`

ساختار مقدار فراداده

یک مقدار فراداده.

نام	انگلیسی	گونه	توضیح
kind	`kind`	`صحیح = 0`	گونه.
elem_kind	`elem_kind`	`صحیح = 0`	گونه‌ی عنصرها، برای آرایه.
i	`i`	`صحیح۶۴ = 0`	مقدار صحیح.
f	`f`	`اعشار۶۴ = 0`	مقدار اعشاری.
s	`s`	`رشته = ""`	رشته.
ints	`ints`	`وکتور<صحیح۶۴>`	آرایه‌ی صحیح.
floats	`floats`	`وکتور<اعشار۶۴>`	آرایه‌ی اعشاری.
strs	`strs`	`وکتور<رشته>`	آرایه‌ی رشته، مثل واژگان توکنایزر.

gguf-Read.salam

واردسازی جی‌جی‌یو‌اف
واردسازی فشرده سازی
واردسازی کدگذاری.دودویی
واردسازی بایگانی
واردسازی سیستم عامل

روال رشته(ب &: فشرده سازی.بافر بایت، متن: رشته):
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، متن.طول() برگردان صحیح۶۴)
    فشرده سازی.افزودن بایت‌ها(ب، متن برگردان تهی*، متن.طول())
پایان

روال ساختن(ب &: فشرده سازی.بافر بایت):
    فشرده سازی.افزودن بایت‌ها(ب، "GGUF" برگردان تهی*، ۴)
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، ۳)
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، ۱)
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، ۳)
    رشته(ب، "general.architecture")
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، جی‌جی‌یو‌اف.فراداده رشته)
    رشته(ب، "llama")
    رشته(ب، "llama.context_length")
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، ۴)
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، ۲۰۴۸)
    رشته(ب، "tokenizer.tokens")
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، جی‌جی‌یو‌اف.فراداده آرایه)
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، جی‌جی‌یو‌اف.فراداده رشته)
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، ۲)
    رشته(ب، "<s>")
    رشته(ب، "سلام")
    رشته(ب، "w")
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، ۲)
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، ۳)
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، ۲)
    دودویی.نوشتن طبیعی۳۲ کوچک‌انتها(ب، جی‌جی‌یو‌اف.نوع اعشاری سی‌ودو)
    دودویی.نوشتن طبیعی۶۴ کوچک‌انتها(ب، ۰)
    تا فشرده سازی.طول بافر(ب) % ۳۲ != ۰:
        دودویی.نوشتن طبیعی۸(ب، ۰)
    پایان
    تکرار ۶ در ک:
        دودویی.نوشتن اعشار۳۲(ب، (ک برگردان اعشار۶۴) * ۰.۵، نادرست)
    پایان
پایان

روال ریشه:
    ناپایا بافر := فشرده سازی.بافر بایت جدید()
    ساختن(بافر)
    مسیر := سیستم عامل.پوشه موقت() + "/salam_tiny.gguf"
    _ := بایگانی.نوشتن پرونده دودویی از بافر(مسیر، بافر)
    ناپایا سالم := نادرست
    ناپایا حافظه‌ای := جی‌جی‌یو‌اف.تجزیه جی‌جی‌یو‌اف(بافر، سالم)
    سرچاپ سالم، حافظه‌ای.error == ""
    حافظه‌ای.آزادسازی()

    ناپایا گ := جی‌جی‌یو‌اف.بارگذاری جی‌جی‌یو‌اف(مسیر، سالم)
    سرچاپ سالم، گ.ok، گ.version، گ.keys.طول()، گ.tensors.طول()، گ.alignment، گ.data_offset
    سرچاپ گ.فراداده رشته("general.architecture")، گ.فراداده صحیح("llama.context_length"، ۰)، گ.فراداده صحیح("llama.block_count"، ۳۲)
    توکن‌ها := گ.values.دریافت(گ.نمایه فراداده("tokenizer.tokens"))
    سرچاپ توکن‌ها.kind == جی‌جی‌یو‌اف.فراداده آرایه، توکن‌ها.elem_kind == جی‌جی‌یو‌اف.فراداده رشته، توکن‌ها.strs.دریافت(۱)
    ش := گ.نمایه تانسور("w")
    اطلاعات := گ.tensors.دریافت(ش)
    سرچاپ اطلاعات.name، اطلاعات.dims.طول()، اطلاعات.شمار()، اطلاعات.ggml_type، اطلاعات.offset، جی‌جی‌یو‌اف.بایت‌های تانسور(گ، ش)
    ناپایا ت := جی‌جی‌یو‌اف.بارگذاری تانسور اعشاری(گ، ش، سالم)
    سرچاپ سالم، ت.عنصر(۰)، ت.عنصر(۵)
    ت.آزادسازی()
    سرچاپ جی‌جی‌یو‌اف.نوع اعشاری شانزده، جی‌جی‌یو‌اف.نوع کوانتیزه چهار صفر، جی‌جی‌یو‌اف.نوع کوانتیزه چهار یک، جی‌جی‌یو‌اف.نوع کوانتیزه هشت صفر
    گ.آزادسازی()
پایان

خروجیtrue true true true 3 3 1 32 224 llama 2048 32 true true سلام w 2 6 0 0 24 true 0 2.5 1 2 3 8