اليوم تهيمن على الذكاء الاصطناعي خمسة أنواع من الهياكل الصلبة، وكل منها يوازن بين المرونة والتوازي والوصول إلى الذاكرة بشكل مختلف.

المعالج المركزي: تصميم حوسبة عامة، يحتوي على عدد قليل من النوى القوية، ويتخصص في المنطق المعقد، والفرع، والمهام على مستوى النظام. لديه ذاكرة مخبأة عميقة وذاكرة DRAM خارجية (الذاكرة الرئيسية)، مناسب لنظام التشغيل، وقواعد البيانات، وغيرها، لكنه غير فعال جدًا في العمليات المتكررة مثل ضرب المصفوفات المطلوبة في الشبكات العصبية.
وحدة معالجة الرسومات: ليست بعدد قليل من النوى القوية، بل الآلاف من النوى الصغيرة التي تنفذ نفس التعليمات في وقت واحد (SIMD). هذا التوازي العالي يتطابق تمامًا مع العمليات الرياضية في الشبكات العصبية، مما جعلها تهيمن على تدريب الذكاء الاصطناعي.
وحدة TPU (تصميم جوجل): تخصص أكثر. النواة عبارة عن شبكة من وحدات الضرب والتراكم (MAC)، حيث تتدفق البيانات على شكل "موجة" — الأوزان تدخل من جهة، والقيم النشطة من جهة أخرى، والنتيجة تنتشر مباشرة، دون الحاجة إلى إعادة كتابة الذاكرة في كل مرة. التحكم في التنفيذ يتم بواسطة المترجم (غير جدول الأجهزة)، ومُحسنة خصيصًا لأعباء العمل في الشبكات العصبية.
وحدة المعالجة العصبية (NPU): نسخة محسنة للأجهزة الطرفية. مدمج فيها محرك حسابات عصبية (صفيف MAC كبير، وذاكرة SRAM على الرقاقة)، لكنها تستخدم ذاكرة نظام منخفضة الاستهلاك بدلاً من HBM عالية النطاق الترددي. الهدف هو تشغيل الاستنتاجات في الهواتف، والأجهزة القابلة للارتداء، وإنترنت الأشياء، بواط منخفض جدًا (مثل محرك الأعصاب من آبل، وNPU من إنتل).
وحدة معالجة اللغة (LPU، أطلقتها شركة Groq): أحدث الأعضاء. أُزيلت تمامًا الذاكرة الخارجية، وكل الأوزان مخزنة في SRAM على الرقاقة. التنفيذ حتمي تمامًا، ويتم جدولته بواسطة المترجم، بدون فقدان ذاكرة مؤقتة، وبدون عبء جدول التشغيل في وقت التشغيل. العيب هو محدودية الذاكرة على الرقاقة الواحدة، مما يتطلب مئات الرقائق المترابطة لخدمة نماذج كبيرة، لكن الميزة في التأخير المنخفض جدًا.