Exécution du modèle DeepSeek R1 Distilled sur les ordinateurs de périphérie IA d'InHand
Blogs
Points clés à retenir
L'exécution du modèle DeepSeek R1 Distilled sur les ordinateurs de périphérie InHand AI révèle que DeepSeek R1, un modèle d'IA open source, redéfinit les normes d'efficacité et de performance au sein de la communauté de l'IA. Cette avancée confirme le potentiel considérable des dispositifs de périphérie légers pour les tâches d'inférence en IA.
DeepSeek R1, un modèle d'IA open source, révolutionne l'efficacité et la performance dans le domaine de l'IA. Sa technologie de pointe de distillation des connaissances transforme les modèles complexes en outils ultra-performants et légers, offrant des capacités d'inférence exceptionnelles. Cette combinaison d'accessibilité open source et de conception légère facilite le déploiement de l'IA et ouvre de nouvelles perspectives pour l'informatique de périphérie.
L'équipe technologique d'IA d'InHand Networks vient de déployer avec succès le modèle distillé DeepSeek R1 sur le Ordinateurs de périphérie IA série EC5000Cette réalisation confirme le potentiel considérable des dispositifs périphériques légers pour les tâches d'inférence en IA. Comparé aux déploiements cloud traditionnels, le calcul d'IA en périphérie élimine le besoin de serveurs haute performance, permettant ainsi une inférence en temps réel dans des environnements à faible consommation. Les solutions d'IA s'en trouvent ainsi rendues plus performantes. flexible, sécurisé et efficace pour des applications telles que contrôle qualité industriel, transports intelligents et télémédecine.
Exécution du modèle DeepSeek R1 Distilled sur les ordinateurs de périphérie IA EC5000
En quelques étapes seulement, vous pouvez déployer le modèle distillé DeepSeek R1 sur les ordinateurs périphériques de la série EC5000 :
Étape 1 : Installer le kit d’outils Jetson Containers de Nvidia
(Cette boîte à outils permet de gérer et de déployer efficacement des applications d'IA conteneurisées.)
Exécutez les commandes suivantes pour télécharger et installer le kit d'outils Jetson Containers :
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
Étape 2 : Installer le kit d’outils Nvidia JetPack
(JetPack fournit les pilotes et bibliothèques essentiels pour l'exécution de charges de travail d'IA sur les appareils équipés de processeurs Jetson.)
Pour installer le kit d'outils JetPack, exécutez :
Attendez environ une minute avant de passer aux étapes suivantes.
Étape 3 : Téléchargez et exécutez Ollama Container
docker run -itd --runtime nvidia --name ollama ollama/ollama
Étape 4 : Téléchargez et exécutez le modèle DeepSeek R1 Distilled avec Ollama
Référence: Bibliothèque DeepSeek R1
Sélectionnez le modèle distillé DeepSeek R1 approprié parmi La bibliothèque d'Ollama et l'installer automatiquement via la ligne de commande. Par exemple, pour exécuter le DeepSeek-R1-Distill-Qwen-1.5B modèle, exécuter :
Vous pouvez remplacer deepseek-r1:1.5b par n'importe quel autre nom de modèle disponible. Page de recherche d'Ollama.
Le tableau ci-dessous présente les modèles distillés DeepSeek R1 pris en charge par les ordinateurs périphériques EC5000.
Interaction avec le modèle
Une fois le modèle en marche, vous pouvez interagir directement avec lui via la ligne de commande, ce qui permet des requêtes et des réponses en temps réel adaptées à vos applications d'IA spécifiques.
Note: Remplacez « deepseek-r1:1.5b » par le nom du modèle que vous souhaitez utiliser, en fonction de vos besoins spécifiques.
Surveillance de l'utilisation du matériel EC5000
Pour vérifier le Utilisation du processeur, du GPU et de la mémoire de votre ordinateur de périphérie EC5000 en temps réel, utilisez jtop commande:
Ceci affichera l'état matériel actuel de l'appareil.
Important: La commande jtop doit être exécutée avec privilèges root.
Notes complémentaires
- En plus du modèle distillé DeepSeek R1, les ordinateurs de périphérie de la série EC5000 prennent également en charge d'autres modèles de langage étendus (LLM) open source, tels que : LLaMA 3.
- Exécution de LLM sur des ordinateurs périphériques EC5000 via Ollama Ce n’est pas la seule méthode disponible ; d’autres options de déploiement peuvent être envisagées en fonction de vos besoins spécifiques.
Le déploiement du modèle distillé DeepSeek R1 sur la série EC5000 démontre l'intégration transparente de l'IA de pointe avec le matériel informatique de périphérie, ouvrant la voie à une nouvelle ère d'IA de périphérie légère et performante.
À mesure que la technologie de distillation évolue, les entreprises peuvent tirer parti de ces avancées pour développer des services d'IA privés, réduisant ainsi leurs coûts informatiques tout en garantissant la sécurité des données. Ces progrès ouvrent la voie à des transformations majeures dans tous les secteurs d'activité – de l'industrie 4.0 aux transports intelligents, en passant par le diagnostic médical et les véhicules autonomes – permettant un traitement local des données, une latence réduite, une confidentialité accrue et une prise de décision en temps réel.
InHand Networks reste déterminé à faire progresser l'écosystème de l'intelligence en périphérie, permettant aux entreprises du monde entier d'adopter l'avenir de l'informatique de périphérie intelligente.
Produits futurs
EC5550
Ordinateur de périphérie IA avec NVIDIA Jetson Orin NX 16 Go, 100 TOPS, interfaces industrielles riches et gestion native du cloud.
IA NVIDIA
Jetson Orin NX 16 Go, jusqu'à 100 TOPS
E/S riches
2 ports GE, 2 ports série, 6 ports USB 3.2, CAN FD, GMSL2
Expansion
Clé M.2 B/E/M, double SIM, stockage NVMe
Gestion du cloud
Gestion du cloud DeviceLive, intégration DSA
