Ausführung des DeepSeek R1 Distilled-Modells auf InHand AI Edge-Computern
Blogs
Wichtigste Erkenntnisse
Das DeepSeek R1 Distilled-Modell wird auf InHand AI Edge-Computern ausgeführt. DeepSeek R1, ein Open-Source-KI-Modell, setzt neue Maßstäbe in puncto Effizienz und Leistung in der KI-Community. Dieser Erfolg bestätigt das enorme Potenzial von ressourcenschonenden Edge-Geräten für KI-Inferenzaufgaben.
DeepSeek R1, ein Open-Source-KI-Modell, setzt neue Maßstäbe in puncto Effizienz und Leistung in der KI-Community. Seine innovative Wissensdestillationstechnologie verwandelt komplexe Modelle in leistungsstarke, ressourcenschonende Systeme und ermöglicht so erstklassige Inferenzfähigkeiten. Diese Kombination aus Open-Source-Zugänglichkeit und schlankem Design senkt die Hürden für den KI-Einsatz und eröffnet neue Möglichkeiten für Edge Computing.
Das KI-Technologieteam von InHand Networks hat das DeepSeek R1-Destillatmodell erfolgreich auf dem KI-Edge-Computer der EC5000-SerieDiese Errungenschaft bestätigt das enorme Potenzial von ressourcenschonenden Edge-Geräten für KI-Inferenzaufgaben. Im Vergleich zu herkömmlichen Cloud-basierten Bereitstellungen entfällt beim Edge-KI-Computing der Bedarf an Hochleistungsservern, wodurch Echtzeit-Inferenz auch in Umgebungen mit geringem Stromverbrauch ermöglicht wird. Dies macht KI-Lösungen effizienter. flexibel, sicher und effizient für Anwendungen wie industrielle Qualitätsprüfung, intelligente Transportsysteme und Telemedizin.
Ausführung des DeepSeek R1 Distilled-Modells auf den EC5000 AI Edge-Computern
Mit nur wenigen Schritten können Sie das DeepSeek R1 Distilled-Modell auf den Edge-Computern der EC5000-Serie bereitstellen:
Schritt 1: Installieren Sie das Jetson Containers Toolkit von Nvidia.
(Dieses Toolkit hilft bei der effizienten Verwaltung und Bereitstellung containerisierter KI-Anwendungen.)
Führen Sie die folgenden Befehle aus, um das Jetson Containers Toolkit herunterzuladen und zu installieren:
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
Schritt 2: Installieren Sie das Nvidia JetPack Toolkit
(JetPack stellt die wichtigsten Treiber und Bibliotheken für die Ausführung von KI-Workloads auf Jetson-basierten Geräten bereit.)
Um das JetPack-Toolkit zu installieren, führen Sie Folgendes aus:
Warten Sie etwa eine Minute, bevor Sie die nächsten Schritte unternehmen.
Schritt 3: Ollama-Container herunterladen und ausführen
docker run -itd --runtime nvidia --name ollama ollama/ollama
Schritt 4: Laden Sie das DeepSeek R1 Distilled Model mit Ollama herunter und führen Sie es aus.
Referenz: DeepSeek R1 Bibliothek
Wählen Sie das entsprechende DeepSeek R1-Destillatmodell aus Ollamas Bibliothek und es automatisch über die Befehlszeile installieren. Um beispielsweise Folgendes auszuführen: DeepSeek-R1-Distill-Qwen-1.5B Modell, ausführen:
Sie können deepseek-r1:1.5b durch einen beliebigen anderen verfügbaren Modellnamen ersetzen. Ollamas Suchseite.
Die folgende Tabelle zeigt die von den EC5000 Edge-Computern unterstützten DeepSeek R1-Destillationsmodelle.
Interaktion mit dem Modell
Sobald das Modell läuft, können Sie direkt über die Kommandozeile mit ihm interagieren und so Echtzeitabfragen und -antworten durchführen, die auf Ihre spezifischen KI-Anwendungen zugeschnitten sind.
Notiz: Ersetzen Sie „deepseek-r1:1.5b“ durch den Modellnamen, den Sie entsprechend Ihren spezifischen Anforderungen verwenden möchten.
Überwachung der EC5000-Hardwareauslastung
Um die CPU-, GPU- und Speichernutzung Verwenden Sie die Funktion Ihres EC5000 Edge-Computers in Echtzeit. jtop Befehl:
Hier wird der aktuelle Hardwarestatus des Geräts angezeigt.
Wichtig: Der Befehl jtop muss ausgeführt werden mit Root-Berechtigungen.
Zusätzliche Anmerkungen
- Zusätzlich zum DeepSeek R1-Destillatmodell unterstützen die Edge-Computer der EC5000-Serie auch andere Open-Source-Sprachmodelle (LLMs), wie zum Beispiel LLaMA 3.
- Ausführen von LLMs auf EC5000-Edge-Computern über Ollama ist nicht die einzige verfügbare Methode – je nach Ihren spezifischen Bedürfnissen können weitere Bereitstellungsoptionen geprüft werden.
Der Einsatz des DeepSeek R1-Destillatmodells auf der EC5000-Serie demonstriert die nahtlose Integration modernster KI mit Edge-Computing-Hardware und ebnet den Weg für eine neue Ära von leichtgewichtiger, leistungsstarker Edge-KI.
Mit der Weiterentwicklung der Destillationstechnologie können Unternehmen diese Fortschritte nutzen, um private KI-Dienste zu entwickeln und so Rechenkosten zu senken und gleichzeitig die Datensicherheit zu gewährleisten. Dieser Fortschritt eröffnet branchenübergreifend transformative Möglichkeiten – von intelligenter Fertigung und intelligentem Transportwesen bis hin zu medizinischer Diagnostik und autonomen Fahrzeugen – und ermöglicht lokale Datenverarbeitung, geringere Latenzzeiten, verbesserten Datenschutz und Echtzeit-Entscheidungsfindung.
InHand Networks engagiert sich weiterhin für die Weiterentwicklung des Edge-Intelligence-Ökosystems und unterstützt Unternehmen weltweit dabei, die Zukunft des intelligenten Edge-Computing zu nutzen.
Zukünftige Produkte
EC5550
KI-Edge-Computer mit NVIDIA Jetson Orin NX 16GB, 100 TOPS, umfangreichen industriellen Schnittstellen und Cloud-nativer Verwaltung.
NVIDIA AI
Jetson Orin NX 16GB, bis zu 100 TOPS
Umfangreiche Ein-/Ausgänge
2xGE, 2xseriell, 6xUSB3.2, CAN FD, GMSL2
Erweiterung
M.2 B/E/M-Taste, Dual-SIM, NVMe-Speicher
Cloud-Management
DeviceLive-Cloud-Management, DSA-Integration
