الجميع يتحدث عن @karpathy autoresearch ومعظمكم لا يملك فكرة عما يفعله فعلاً.

هناك سكربت تدريب (train(dot)py) الذي يدرب نموذج لغة صغير، وهو في الأساس GPT صغير. وهناك ملف تعليمات (program(dot)md) الذي يخبر وكيل الذكاء الاصطناعي بما يجب أن يفعله.
تضغط على ابدأ. يقوم الوكيل بتعديل سكربت التدريب، ويقوم بالتدريب لمدة 5 دقائق، ويختبر النتيجة. هل هو أفضل؟ استمر. أسوأ؟ استرجع. كرر ذلك 100 مرة أثناء نومك.
هذا هو بالضبط كل شيء.
ما يتم تحسينه فعليًا: هَيَكَلَة النموذج. ليس التوقعات. ليس التداولات. ليس محفظتك.
أشياء مثل:
→ 4 طبقات أم 8؟
→ أفضل معدل تعلم؟
→ AdamW أم محسن Muon؟
→ ما حجم الدفعة الذي يعمل بشكل أفضل على هذه الـ GPU المحددة؟
الهَيَكَلَة المثلى تعتمد على عتادك. H100 يحتاج إلى نموذج مختلف تمامًا عن جهاز MacBook الخاص بك. autoresearch يجد التكوين الأفضل لجهازك تلقائيًا.
ما يمكنك فعله باستخدامه:
> بناء نموذج لغة صغير يكتب كودًا، autoresearch يجد أفضل هَيَكَلَة، وتدرب على مجموعة بياناتك
> إنشاء روبوت دردشة خفيف يعمل بدون اتصال على هاتفك
> تدريب نموذج على كتاباتك الخاصة ليبدو كأنه أنت
> اختبار "هل RoPE يتفوق على ALiBi للنماذج الصغيرة؟" 100 تجربة في ليلة واحدة بدلاً من 3 أسابيع من عمل الدكتوراه
> تحسين نموذج لجهاز Raspberry Pi أو جهاز حافة
ما لا يمكنك فعله:
> التنبؤ بأسعار الأسهم
> العثور على ميزة تداول
> تحليل جداول البيانات
> التنبؤ بنتائج الرياضة
autoresearch هو أداة للأشخاص الذين يرغبون في بناء نماذج لغة، وليس استخدامها. قام Karpathy ببناء حلقة ذاتية حيث يتحسن الذكاء الاصطناعي بواسطة الذكاء الاصطناعي. ذكي حقًا. لكنه يحل مشكلة محددة جدًا.
وهي ربما ليست مشكلتك. وهذا جيد، فقط توقف عن التظاهر بأنها شيء ليست عليه.