تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد وأعلى مستوى من التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلية. بالمقارنة مع استدعاءات المرحلة الاستنتاجية الخفيفة الوزن، يتطلب عملية التدريب استثمارًا مستمرًا كبيرًا في القوة الحاسوبية، وعمليات معالجة بيانات معقدة، ودعمًا عالي الكثافة لخوارزميات التحسين، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث أنماط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم التركيز عليه في هذه المقالة.
تعتبر التدريب المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة محلية عالية الأداء، حيث يتم تنسيق جميع مكونات التدريب من الأجهزة والبرامج الأساسية ونظام جدولة المجموعات إلى إطار التدريب بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتعمقة الكفاءة في مشاركة الذاكرة، وتزامن التدرجات، وآليات التكرار تصل إلى ذروتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، حيث تتمتع بمزايا الكفاءة العالية، والتحكم في الموارد، لكنها تعاني في الوقت نفسه من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الأسلوب السائد حاليًا لتدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، وذلك لتجاوز قيود حساب وتخزين الآلة الفردية. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام بأكمله لا يزال تحت سيطرة مؤسسة مركزية للتحكم والتنسيق والمزامنة، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال السريع NVLink، حيث يتم تنسيق المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الطرق الشائعة ما يلي:
البيانات المتوازية: يقوم كل عقدة بتدريب معلمات بيانات مختلفة مع مشاركة الوزن النموذجي، تحتاج إلى مطابقة أوزان النموذج
توزيع النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية;
تنفيذ متسلسل على مراحل: تحسين معدل النقل;
تقسيم التنسور: تقسيم دقيق لحساب المصفوفة، مما يعزز درجة التوازي.
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، على غرار توجيه نفس الرئيس عن بعد لعدة "مكاتب" للموظفين للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
تمثل التدريبات اللامركزية مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: تعاون عدة عقد غير موثوقة في إكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستفيد من آليات التحفيز التشفيري لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
صعوبة التوزيع والتجزئة للأجهزة المتنوعة: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة توزيع المهام منخفضة؛
اختناق كفاءة الاتصال: الاتصال الشبكي غير مستقر، واختناق مزامنة التدرج واضح؛
نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب؛
نقص التنسيق الموحد: لا يوجد جهاز مركزي للتنسيق، توزيع المهام، وآلية التراجع عن الأخطاء معقدة.
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويشمل العديد من المجالات مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، ولكن لا يزال "التعاون الفعال + تحفيز الصدق + النتائج الصحيحة" في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكلة هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره كحل "لامركزي خاضع للرقابة" في سيناريوهات الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب، وهيكل الثقة وآلية الاتصال، مما يجعله أكثر ملاءمة كنظام نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من حيث نموذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، وارتفاع الطلب على الموارد، أو صعوبة التعاون، فإنه من الطبيعي أن يكون غير مناسب لإكماله بكفاءة بين نقاط غير متجانسة وموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفاعلية في شبكة مفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة مقيدة بالامتثال القانوني والاعتبارات الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي لا تمتلك أساسًا من حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام التي تتميز بخفة الهيكل وسهولة التوازي وإمكانية التحفيز، يظهر التدريب اللامركزي آفاق تطبيقية واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، المهام التدريبية بعد التوافق السلوكي، تدريب البيانات المجمعة وعلامات البيانات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتسامح مع القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكولات Swarm، والمُحسنات الموزعة.
اللامركزية تدريب الكلاسيكيات مشاريع التحليل
حاليًا في مجال التدريب اللامركزي وتعلم الفيدرالية، تشمل المشاريع البارزة في مجال blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وتبحث أيضًا في اختلافاتها وعلاقاتها التكاملية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تكرس Prime Intellect جهودها لبناء شبكة تدريب AI لا تحتاج إلى ثقة، حيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة على مساهماته الحاسوبية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة.
أ. هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية
ثانياً، شرح آلية التدريب الأساسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم التعزيزي غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم خصيصًا من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، ويفصل هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات قياسية وآليات تحقق وتجميع. مقارنة بعمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيف الوزن
TOPLOC هو آلية أساسية للتحقق من التدريب التي اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة معينة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف الوزن من خلال تحليل "تسلسل الملاحظات ↔ تحديث الاستراتيجية" بين مسارات التناسق المحلي. إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجميع الأوزان تم تصميمه بواسطة Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية ذات اللامركزية، والقيود على عرض النطاق الترددي، وحالات العقد المتغيرة. يجمع بين آلية نشر الدردشة واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة، مما يحقق التقارب التدريجي للأوزان وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل كبير من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق مستقر للأوزان وتكرارات تدريب مستمرة.
OpenDiLoCo: إطار الاتصالات غير المتزامنة المتناثرة
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد الجوارية المحلية لإكمال تدريب النموذج المشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل النقاط، يتيح OpenDiLoCo لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية المشاركة بثبات في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى الأساسية الاتصالية الحيوية لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى معالجة عنق الزجاجة في التكيف الذي تواجهه المكتبات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط المقطوعة، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير معتمدة من خلال تجاوز "آخر كيلومتر" من البنية التحتية للاتصالات.
ثالثًا، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق ولا تحتاج إلى إذن، مع آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:
م initiator: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات الملاحظة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العملية الأساسية للبروتوكول نشر المهام، وتدريب العقد، والتحقق من المسارات، وتجميع الأوزان، وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".
الرابع، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزي
أصدرت Prime Intellect في مايو 2025 النموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم يتم تدريبه بواسطة عقد لامركزية متزامنة وغير موثوقة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة غير متجانسة GPU منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، واستغرقت مدة التدريب أكثر من 400 ساعة، مما يوضح جدوى واستقرار شبكة التعاون غير المتزامن. لا يمثل هذا النموذج مجرد突破 في الأداء، بل هو أيضًا التطبيق النظامي الأول لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL و TOPLOC و SHARDCAST، مما يرمز إلى اللامركزية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 9
أعجبني
9
6
إعادة النشر
مشاركة
تعليق
0/400
Whale_Whisperer
· 08-12 12:33
هل هذه مصاريف باهظة؟
شاهد النسخة الأصليةرد0
MemeCurator
· 08-12 12:10
التدريب على حرق المال يبدو مؤلمًا
شاهد النسخة الأصليةرد0
LazyDevMiner
· 08-09 17:17
تدريب النماذج يكلف الكثير من المال، والفقراء لا يستطيعون اللعب.
شاهد النسخة الأصليةرد0
Degentleman
· 08-09 17:12
لم يعد بإمكان إخوتنا في الاستوديوهات المركزية اللعب، لقد انتقلوا للعب في الفيدرالية.
شاهد النسخة الأصليةرد0
DefiPlaybook
· 08-09 17:10
التدريب لا يزال غير لامركزي؟ أليس هذا مثل وضع جميع العقود الذكية على aws؟
ثورة تدريب الذكاء الاصطناعي: من المركزية إلى اللامركزية في التطور التكنولوجي
تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد وأعلى مستوى من التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلية. بالمقارنة مع استدعاءات المرحلة الاستنتاجية الخفيفة الوزن، يتطلب عملية التدريب استثمارًا مستمرًا كبيرًا في القوة الحاسوبية، وعمليات معالجة بيانات معقدة، ودعمًا عالي الكثافة لخوارزميات التحسين، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث أنماط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم التركيز عليه في هذه المقالة.
تعتبر التدريب المركزية الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب من قبل مؤسسة واحدة داخل مجموعة محلية عالية الأداء، حيث يتم تنسيق جميع مكونات التدريب من الأجهزة والبرامج الأساسية ونظام جدولة المجموعات إلى إطار التدريب بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتعمقة الكفاءة في مشاركة الذاكرة، وتزامن التدرجات، وآليات التكرار تصل إلى ذروتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، حيث تتمتع بمزايا الكفاءة العالية، والتحكم في الموارد، لكنها تعاني في الوقت نفسه من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الأسلوب السائد حاليًا لتدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، وذلك لتجاوز قيود حساب وتخزين الآلة الفردية. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام بأكمله لا يزال تحت سيطرة مؤسسة مركزية للتحكم والتنسيق والمزامنة، وغالبًا ما يعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال السريع NVLink، حيث يتم تنسيق المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الطرق الشائعة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، على غرار توجيه نفس الرئيس عن بعد لعدة "مكاتب" للموظفين للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
تمثل التدريبات اللامركزية مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: تعاون عدة عقد غير موثوقة في إكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستفيد من آليات التحفيز التشفيري لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويشمل العديد من المجالات مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، ولكن لا يزال "التعاون الفعال + تحفيز الصدق + النتائج الصحيحة" في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكلة هندسية للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره كحل "لامركزي خاضع للرقابة" في سيناريوهات الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب، وهيكل الثقة وآلية الاتصال، مما يجعله أكثر ملاءمة كنظام نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من حيث نموذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، وارتفاع الطلب على الموارد، أو صعوبة التعاون، فإنه من الطبيعي أن يكون غير مناسب لإكماله بكفاءة بين نقاط غير متجانسة وموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفاعلية في شبكة مفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة مقيدة بالامتثال القانوني والاعتبارات الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي لا تمتلك أساسًا من حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام التي تتميز بخفة الهيكل وسهولة التوازي وإمكانية التحفيز، يظهر التدريب اللامركزي آفاق تطبيقية واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، المهام التدريبية بعد التوافق السلوكي، تدريب البيانات المجمعة وعلامات البيانات، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتسامح مع القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكولات Swarm، والمُحسنات الموزعة.
اللامركزية تدريب الكلاسيكيات مشاريع التحليل
حاليًا في مجال التدريب اللامركزي وتعلم الفيدرالية، تشمل المشاريع البارزة في مجال blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وتبحث أيضًا في اختلافاتها وعلاقاتها التكاملية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تكرس Prime Intellect جهودها لبناء شبكة تدريب AI لا تحتاج إلى ثقة، حيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة على مساهماته الحاسوبية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق، والانفتاح، وآلية تحفيز كاملة.
أ. هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية
ثانياً، شرح آلية التدريب الأساسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم التعزيزي غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم خصيصًا من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، ويفصل هيكليًا عملية التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات قياسية وآليات تحقق وتجميع. مقارنة بعمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب الخفيف الوزن
TOPLOC هو آلية أساسية للتحقق من التدريب التي اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة معينة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف الوزن من خلال تحليل "تسلسل الملاحظات ↔ تحديث الاستراتيجية" بين مسارات التناسق المحلي. إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجميع الأوزان تم تصميمه بواسطة Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية ذات اللامركزية، والقيود على عرض النطاق الترددي، وحالات العقد المتغيرة. يجمع بين آلية نشر الدردشة واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة، مما يحقق التقارب التدريجي للأوزان وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل كبير من قابلية التوسع وقدرة التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق مستقر للأوزان وتكرارات تدريب مستمرة.
OpenDiLoCo: إطار الاتصالات غير المتزامنة المتناثرة
OpenDiLoCo هو إطار عمل لتحسين الاتصالات تم تطويره بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد الجوارية المحلية لإكمال تدريب النموذج المشترك. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل النقاط، يتيح OpenDiLoCo لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية المشاركة بثبات في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى الأساسية الاتصالية الحيوية لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى معالجة عنق الزجاجة في التكيف الذي تواجهه المكتبات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط المقطوعة، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير معتمدة من خلال تجاوز "آخر كيلومتر" من البنية التحتية للاتصالات.
ثالثًا، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق ولا تحتاج إلى إذن، مع آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:
تشمل العملية الأساسية للبروتوكول نشر المهام، وتدريب العقد، والتحقق من المسارات، وتجميع الأوزان، وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".
الرابع، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزي
أصدرت Prime Intellect في مايو 2025 النموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم يتم تدريبه بواسطة عقد لامركزية متزامنة وغير موثوقة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة غير متجانسة GPU منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، واستغرقت مدة التدريب أكثر من 400 ساعة، مما يوضح جدوى واستقرار شبكة التعاون غير المتزامن. لا يمثل هذا النموذج مجرد突破 في الأداء، بل هو أيضًا التطبيق النظامي الأول لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL و TOPLOC و SHARDCAST، مما يرمز إلى اللامركزية.