Ejecutando el modelo DeepSeek R1 Distilled en ordenadores InHand AI Edge.
Blogs
Conclusiones clave
Ejecución del modelo DeepSeek R1 Distilled en ordenadores de borde InHand AI. DeepSeek R1, un modelo de IA de código abierto, está redefiniendo la eficiencia y el rendimiento en la comunidad de IA. Este logro valida el gran potencial de los dispositivos de borde ligeros en tareas de inferencia de IA.
DeepSeek R1, un modelo de IA de código abierto, está redefiniendo la eficiencia y el rendimiento en la comunidad de IA. Su tecnología de destilación de conocimiento de vanguardia transforma modelos complejos en potentes herramientas ligeras, ofreciendo capacidades de inferencia de primer nivel. Esta combinación de accesibilidad de código abierto y diseño ligero reduce las barreras para la implementación de la IA y abre nuevas posibilidades para la computación perimetral.
El equipo de tecnología de IA de InHand Networks acaba de implementar con éxito el modelo destilado DeepSeek R1 en el Ordenadores de borde con IA de la serie EC5000Este logro valida el gran potencial de los dispositivos de borde ligeros en las tareas de inferencia de IA. En comparación con las implementaciones tradicionales basadas en la nube, la computación de IA de borde elimina la necesidad de servidores de alto rendimiento, lo que permite la inferencia en tiempo real en entornos de baja potencia. Esto hace que las soluciones de IA sean más flexible, seguro y eficiente para aplicaciones como inspección de calidad industrial, transporte inteligente y telemedicina.
Ejecutando el modelo DeepSeek R1 Distilled en los ordenadores EC5000 AI Edge.
Con tan solo unos pocos pasos, puede implementar el modelo simplificado de DeepSeek R1 en los ordenadores perimetrales de la serie EC5000:
Paso 1: Instalar el kit de herramientas de contenedores Jetson de Nvidia.
(Este conjunto de herramientas ayuda a gestionar e implementar aplicaciones de IA en contenedores de forma eficiente).
Ejecute los siguientes comandos para descargar e instalar el kit de herramientas de Jetson Containers:
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
Paso 2: Instalar Nvidia JetPack Toolkit
(JetPack proporciona controladores y bibliotecas esenciales para ejecutar cargas de trabajo de IA en dispositivos Jetson).
Para instalar el kit de herramientas JetPack, ejecute:
Espere aproximadamente un minuto antes de continuar.
Paso 3: Descargue y ejecute el contenedor Ollama.
docker run -itd --runtime nvidia --name ollama ollama/ollama
Paso 4: Descargue y ejecute el modelo DeepSeek R1 Distilled con Ollama.
Referencia: Biblioteca DeepSeek R1
Seleccione el modelo destilado DeepSeek R1 apropiado de La biblioteca de Ollama y lo instala automáticamente a través de la línea de comandos. Por ejemplo, para ejecutar el DeepSeek-R1-Distill-Qwen-1.5B modelo, ejecutar:
Puede reemplazar deepseek-r1:1.5b con cualquier otro nombre de modelo disponible de Página de búsqueda de Ollama.
La tabla que aparece a continuación muestra los modelos simplificados de DeepSeek R1 compatibles con los ordenadores de borde EC5000.
Interactuar con el modelo
Una vez que el modelo esté en funcionamiento, podrá interactuar con él directamente a través de la línea de comandos, lo que permitirá realizar consultas y obtener respuestas en tiempo real adaptadas a sus aplicaciones de IA específicas.
Nota: Sustituya “deepseek-r1:1.5b” por el nombre del modelo que desee utilizar, según sus requisitos específicos.
Monitorización de la utilización del hardware del EC5000
Para comprobar el Uso de CPU, GPU y memoria de su computadora de borde EC5000 en tiempo real, utilice el jtop dominio:
Esto mostrará el estado actual del hardware del dispositivo.
Importante: El comando jtop debe ejecutarse con privilegios de root.
Notas adicionales
- Además del modelo destilado DeepSeek R1, los ordenadores de borde de la serie EC5000 también admiten otros modelos de lenguaje grandes (LLM) de código abierto, como LLaMA 3.
- Ejecutar LLM en computadoras de borde EC5000 mediante Ollama No es el único método disponible; se pueden explorar otras opciones de implementación según sus necesidades específicas.
La implementación del modelo DeepSeek R1 optimizado en la serie EC5000 demuestra la perfecta integración de la IA de vanguardia con el hardware de computación perimetral, allanando el camino hacia una nueva era de IA perimetral ligera y de alto rendimiento.
A medida que la tecnología de destilación continúa evolucionando, las empresas pueden aprovechar estos avances para desarrollar servicios de IA privados, reduciendo los costos de computación y garantizando la seguridad de los datos. Este progreso abre oportunidades transformadoras en diversos sectores, desde la fabricación inteligente y el transporte inteligente hasta el diagnóstico médico y los vehículos autónomos, permitiendo el procesamiento local de datos, una menor latencia, una mayor privacidad de los datos y la toma de decisiones en tiempo real.
InHand Networks mantiene su compromiso de impulsar el ecosistema de inteligencia perimetral, capacitando a empresas de todo el mundo para que adopten el futuro de la computación perimetral inteligente.
Productos futuros
EC5550
Ordenador de borde con IA, equipado con NVIDIA Jetson Orin NX de 16 GB, 100 TOPS, interfaces industriales avanzadas y gestión nativa en la nube.
NVIDIA AI
Jetson Orin NX 16GB, hasta 100 TOPS
Entrada/salida rica
2 puertos GE, 2 puertos serie, 6 puertos USB 3.2, CAN FD, GMSL2
Expansión
Clave M.2 B/E/M, doble SIM, almacenamiento NVMe
Gestión de la nube
Gestión en la nube de DeviceLive, integración con DSA
