واحدة من اختراقات نماذج Deepseek Open Source AI هي أنه يمكن تشغيلها محليًا باستخدام أجهزة غير مكلفة نسبيًا ، مثل Raspberry Pi.
كما اتضح ، يمكن تشغيل نماذج Deepseek V3 و R1 على وحدات معالجة الرسومات Moore Threads التي تم تطويرها في الصين ، وفقًا لتقارير إيثوم. إذا كان هذا صحيحًا ، فهذا إنجاز كبير لـ Deepseek ، ومصمم الأجهزة ، والصين ، حيث يحتمل أن يفتح هذا أبوابًا جديدة لخيوط مور ويقلل من اعتماد Deepseek والصين على أجهزة Nvidia.
وبحسب ما ورد يقول Moore Threads إنها نشرت بنجاح نموذج Deepseek-R1-Distill-QWEN-7B المقطر على بطاقة رسومات عميل MTT S80 الخاصة بها وبطاقات رسومات MTT S4000 على مستوى مركز البيانات. استخدمت الشركة إطار عمل Ollama Lightweight الذي يمكّن المستخدمين من تشغيل نماذج لغة كبيرة مباشرة على أجهزة MacOS و Linux و Windows بالإضافة إلى محرك الاستدلال المحسن لتحقيق الأداء “العالي”.
على الرغم من أن التقرير يدعي أداء “ممتاز” و “عالي” عند وصف أداء MTT S80 و MTT S4000 باستخدام نموذج Deepseek-R1-Distill-QWEN-7B المقطر ، إلا أنه لا يحدد أرقام الأداء الفعلية أو إجراء مقارنات مع الأجهزة الأخرى. تحقيقا لهذه الغاية ، من المستحيل تقييم المطالبات. علاوة على ذلك ، بالنظر إلى حقيقة أن MTT S80 بالكاد متوفر خارج الصين ، فمن المستحيل التحقق منها.
يدعم Ollama نماذج مثل Llama 3.3 و Deepseek-R1 و PHI-4 و Mistral و Gemma 2 ، مما يتيح تنفيذها المحلي الفعال دون الاعتماد على الخدمات المستندة إلى مجموعة النظراء. تم تطوير Ollama في المقام الأول ل macOS ويستخدم المعادن لتسارع Apple GPU ، CUDA لتسريع NVIDIA GPU ، و ROCM لتسارع GPU AMD.
من الناحية الرسمية ، لا تدعم Ollama وحدات معالجة الرسومات الخاصة بـ Moore Threads ، لكن الشركة تدعي أن معالجات الرسومات الخاصة بها يمكنها تنفيذ التعليمات البرمجية التي تم تجميعها في وحدات معالجة الرسومات CUDA. أكدت النتائج أن وحدات معالجة الرسومات في Moore Threads متوافقة بالفعل مع CUDA ومناسبة لأعباء عمل الذكاء الاصطناعي ، وخاصة في تطبيقات اللغة الصينية.
لتعزيز الأداء ، استخدمت مؤشرات ترابط مور محرك استدلال خاص يضم تحسينات حسابية مخصصة وإدارة الذاكرة المحسنة. هذا تكامل برامج البرمجيات يعزز بشكل كبير أداء الحوسبة وكفاءة الموارد ويضمن عملية النشر السلس ودعم نماذج الذكاء الاصطناعى المستقبلي ، وفقًا للتقرير. بالطبع ، نحن نتحدث عن نموذج مقطر ، لذلك في الوقت الحالي لا يمكننا مقارنة أداء وحدات معالجة الرسومات Moore Threads مع أداء الحلول من AMD أو Apple أو Nvidia.