تشغيل نموذج DeepSeek R1 Distilled على أجهزة كمبيوتر InHand AI Edge

DeepSeek R1، نموذج ذكاء اصطناعي مفتوح المصدر، يُعيد تعريف مفهوم الكفاءة والأداء في مجتمع الذكاء الاصطناعي. تُحوّل تقنيته المتطورة لتقطير المعرفة النماذج المعقدة إلى وحدات قوية خفيفة الوزن، مُوفرةً قدرات استدلالية فائقة. هذا المزيج من سهولة الوصول مفتوح المصدر والتصميم خفيف الوزن يُقلل من عوائق نشر الذكاء الاصطناعي، ويفتح آفاقًا جديدة للحوسبة الطرفية.

نجح فريق تكنولوجيا الذكاء الاصطناعي في InHand Networks للتو في نشر نموذج DeepSeek R1 المقطر على سلسلة EC5000 من أجهزة الكمبيوتر الطرفية ذات الذكاء الاصطناعييُثبت هذا الإنجاز الإمكانات الهائلة لأجهزة الحافة خفيفة الوزن في مهام استدلال الذكاء الاصطناعي. مقارنةً بعمليات النشر السحابية التقليدية، تُلغي حوسبة الذكاء الاصطناعي الحافة الحاجة إلى خوادم عالية الأداء، مما يُتيح الاستدلال الفوري في بيئات منخفضة الطاقة. وهذا يجعل حلول الذكاء الاصطناعي أكثر فعالية. مرنة وآمنة وفعالة لتطبيقات مثل فحص الجودة الصناعية، والنقل الذكي، والطب عن بعد.

تشغيل نموذج DeepSeek R1 Distilled على أجهزة الكمبيوتر EC5000 AI Edge

باتباع بضع خطوات فقط، يمكنك نشر نموذج DeepSeek R1 المقطر على أجهزة الكمبيوتر الطرفية من سلسلة EC5000:

الخطوة 1: تثبيت مجموعة أدوات Jetson Containers من Nvidia

(تساعد مجموعة الأدوات هذه على إدارة ونشر تطبيقات الذكاء الاصطناعي المحوسبة بكفاءة.)

قم بتشغيل الأوامر التالية لتنزيل مجموعة أدوات Jetson Containers وتثبيتها:

نسخة git https://github.com/dusty-nv/jetson-containers

bash jetson-containers/install.sh

الخطوة 2: تثبيت Nvidia JetPack Toolkit

(يوفر JetPack برامج تشغيل ومكتبات أساسية لتشغيل أحمال عمل الذكاء الاصطناعي على الأجهزة التي تعمل بنظام Jetson.)

لتثبيت مجموعة أدوات JetPack، قم بتنفيذ:

sudo apt update

sudo apt install nvidia-jetpack

sudo systemctl إعادة تشغيل docker

انتظر لمدة دقيقة تقريبًا قبل الخطوات التالية.

`الخطوة 3: تنزيل وتشغيل Ollama Container`

docker run -itd --runtime nvidia --name ollama ollama/ollama

`الخطوة 4: تنزيل وتشغيل نموذج DeepSeek R1 Distilled باستخدام Ollama`

مرجع: مكتبة DeepSeek R1

حدد نموذج DeepSeek R1 المقطر المناسب من مكتبة أولاما وتثبيته تلقائيًا عبر سطر الأوامر. على سبيل المثال، لتشغيل DeepSeek-R1-Distill-Qwen-1.5B نموذج، تنفيذ:

docker exec -it ollama ollama تشغيل deepseek-r1:1.5b

يمكنك استبدال deepseek-r1:1.5b بأي اسم طراز متاح آخر من صفحة بحث أولاما.

يوضح الجدول أدناه نماذج DeepSeek R1 المقطرة التي تدعمها أجهزة الكمبيوتر الطرفية EC5000.

التفاعل مع النموذج

بمجرد تشغيل النموذج، يمكنك التفاعل معه مباشرة من خلال سطر الأوامر، مما يتيح لك إجراء استعلامات واستجابات في الوقت الفعلي مصممة خصيصًا لتطبيقات الذكاء الاصطناعي الخاصة بك.

ملحوظة: استبدل "deepseek-r1:1.5b" باسم النموذج الذي تريد استخدامه، استنادًا إلى متطلباتك المحددة.

مراقبة استخدام أجهزة EC5000

للتحقق من استخدام وحدة المعالجة المركزية ووحدة معالجة الرسومات والذاكرة لجهاز الكمبيوتر EC5000 الخاص بك في الوقت الفعلي، استخدم جي توب يأمر:

سودو جي توب

سيؤدي هذا إلى عرض الحالة الحالية للجهاز.

مهم: يجب تنفيذ الأمر jtop باستخدام امتيازات الجذر.

ملاحظات إضافية

بالإضافة إلى طراز DeepSeek R1 المقطر، تدعم أجهزة الكمبيوتر الطرفية من سلسلة EC5000 أيضًا نماذج اللغات الكبيرة مفتوحة المصدر (LLMs)، مثل لاما 3.
تشغيل برامج LLM على أجهزة الكمبيوتر الطرفية EC5000 عبر أولاما ليست هذه هي الطريقة الوحيدة المتاحة - يمكن استكشاف خيارات نشر أخرى بناءً على احتياجاتك المحددة.

يوضح نشر نموذج DeepSeek R1 المقطر على سلسلة EC5000 التكامل السلس للذكاء الاصطناعي المتطور مع أجهزة الحوسبة المتطورة، مما يمهد الطريق لعصر جديد من الذكاء الاصطناعي خفيف الوزن وعالي الأداء.

مع استمرار تطور تكنولوجيا التقطير، يمكن للشركات الاستفادة من هذه التطورات لبناء خدمات ذكاء اصطناعي خاصة، مما يقلل تكاليف الحوسبة مع ضمان أمن البيانات. يفتح هذا التقدم آفاقًا جديدة في مختلف القطاعات، بدءًا من التصنيع الذكي والنقل الذكي وصولًا إلى تشخيصات الرعاية الصحية والمركبات ذاتية القيادة، مما يُمكّن من معالجة البيانات محليًا، وتقليل زمن الوصول، وتعزيز خصوصية البيانات، واتخاذ القرارات في الوقت الفعلي.

تظل شركة InHand Networks ملتزمة بتطوير نظام الذكاء الحافة، وتمكين الشركات في جميع أنحاء العالم من احتضان مستقبل الحوسبة الحافة الذكية.

المنتجات ذات الصلة: