تقرأ أن نموذجًا لغويًا كبيرًا «يعمل على لابتوبك»، وتتساءل كيف، وهو يحتاج عادة إلى خوادم ضخمة. أحد الأسباب الرئيسية يُسمّى Quantization، ويُترجم أحيانًا «التكميم».
التكميم أن تخزّن أوزان النموذج بأرقام أقل دقة، فيقل الحجم وتتسارع الحسابات، مقابل خسارة محتملة في الجودة. تقول Hugging Face إنه يخفض ذاكرة تحميل النموذج وتشغيله مع محاولة الحفاظ على أكبر قدر من الدقة.
كيف يعمل بمثال بسيط؟
الأوزان تُخزَّن عادة بدقة 32 بت (fp32) أو 16 بت (fp16 وbf16)، ويمكن خفضها إلى أعداد صحيحة مثل int8 أو int4، كما توضح وثائق Hugging Face. وتشرح IBM أن عدد القيم الممكنة في fp32 نحو 4 مليارات، مقابل 256 فقط في int8، فتصبح عمليات ضرب المصفوفات أسرع.
مثال IBM لمتجه من ثماني قيم: [1.6، -0.7، -3.4، 1.7، -2.9، 0.5، 2.3، 6.2]. أكبر قيمة مطلقة 6.2، ونطاق int8 هو من -127 إلى 127، فمعامل التحجيم 127÷6.2 أي نحو 20.5. بعد الضرب والتقريب تصبح القيم: [33، -14، -70، 35، -59، 10، 47، 127]. حصلنا على أعداد صحيحة صغيرة، لكن التقريب أضاع بعض الدقة.
لماذا يهمك كمستخدم؟
- يعمل على أجهزة أضعف: تقول IBM إن التكميم يتيح تشغيل النماذج على حواسيب محمولة وأجهزة لوحية وهواتف، وعلى معالجات رسومية استهلاكية.
- أسرع وأقل استهلاكًا للطاقة: الحسابات الصحيحة أبسط من العشرية، فتقل الاستجابة وتدوم البطارية أكثر.
- أرخص على من يشغّله: حجم أصغر قد يعني ذاكرة وحسابات أقل، أي تكلفة تشغيل أقل.
الثمن: ما الذي قد تخسره؟
قد تقل الدقة. وتحذّر IBM من أن النماذج الضخمة جدًا قد تتراكم فيها أخطاء التقريب بين الطبقات. وتشرح IBM طريقتين رئيسيتين:
| الطريقة | ما هي | المقابل |
|---|---|---|
| PTQ (بعد التدريب) | تحويل نموذج جاهز دون إعادة تدريب | أسرع وأرخص، لكن قد تنخفض الجودة |
| QAT (أثناء التدريب) | إدخال التكميم في التدريب أو الضبط الدقيق | جودة أعلى عادة، لكن حسابات وبيانات أكثر |
وتضيف Hugging Face أن بعض الطرق تحتاج معايرة بالبيانات لتحقيق دقة أعلى وضغط شديد (1 إلى 2 بت)، وبعضها يعمل فورًا دون معايرة.
وكيف يختلف عن التقطير؟
التقطير يدرّب نموذجًا صغيرًا ليحاكي كبيرًا، أما التكميم فيبقي النموذج نفسه ويقلل دقة أرقامه. اقرأ ما هو التقطير، وMixture of Experts لطريقة ثالثة في توفير الحساب، ومعنى open-weight لتعرف لماذا تستطيع تنزيل نماذج وتكميمها على جهازك.
