InHand AI Edge Bilgisayarlarında DeepSeek R1 Distilled Model'i Çalıştırma

Açık kaynaklı bir AI modeli olan DeepSeek R1, AI topluluğunda verimliliği ve performansı yeniden tanımlıyor. Son teknoloji bilgi damıtma teknolojisi, karmaşık modelleri hafif güç merkezlerine dönüştürerek en üst düzey çıkarım yetenekleri sunuyor. Açık kaynaklı erişilebilirlik ve hafif tasarımın bu birleşimi, AI dağıtımının önündeki engelleri azaltıyor ve uç bilişim için yeni olasılıkların kilidini açıyor.

InHand Networks'ün yapay zeka teknolojisi ekibi, DeepSeek R1 damıtılmış modelini başarıyla devreye aldı EC5000 serisi AI uç bilgisayarları. Bu başarı, AI çıkarım görevlerinde hafif uç aygıtlarının güçlü potansiyelini doğrular. Geleneksel bulut tabanlı dağıtımlarla karşılaştırıldığında, uç AI bilişimi yüksek performanslı sunuculara olan ihtiyacı ortadan kaldırarak düşük güç ortamlarında gerçek zamanlı çıkarım sağlar. Bu, AI çözümlerini daha esnek, güvenli ve verimli gibi uygulamalar için endüstriyel kalite denetimi, akıllı ulaşım ve tele tıp.

EC5000 AI Edge Bilgisayarlarında DeepSeek R1 Distilled Model'i Çalıştırma

Sadece birkaç adımda DeepSeek R1 damıtılmış modelini EC5000 serisi uç bilgisayarlara dağıtabilirsiniz:

Adım 1: Nvidia'nın Jetson Kapsayıcı Araç Setini yükleyin

(Bu araç seti, konteynerleştirilmiş yapay zeka uygulamalarının verimli bir şekilde yönetilmesine ve dağıtılmasına yardımcı olur.)

Jetson Kapsayıcıları araç setini indirmek ve yüklemek için aşağıdaki komutları çalıştırın:

git klonu https://github.com/dusty-nv/jetson-containers

bash jetson-konteynerleri/install.sh

Adım 2: Nvidia JetPack Toolkit'i yükleyin

(JetPack, Jetson destekli cihazlarda yapay zeka iş yüklerini çalıştırmak için gerekli sürücüleri ve kütüphaneleri sağlar.)

JetPack araç setini yüklemek için şunu yürütün:

sudo apt güncellemesi

sudo apt nvidia-jetpack'i kurun

sudo systemctl docker'ı yeniden başlat

Bir sonraki adıma geçmeden önce yaklaşık bir dakika bekleyin.

`Adım 3: Ollama Container'ı indirin ve çalıştırın`

docker run -itd --runtime nvidia --name ollama ollama/ollama

`Adım 4: Ollama ile DeepSeek R1 Distilled Model'i indirin ve çalıştırın`

Referans: DeepSeek R1 Kütüphanesi

Uygun DeepSeek R1 damıtılmış modelini seçin Ollama'nın kütüphanesi ve komut satırı üzerinden otomatik olarak yükleyin. Örneğin, çalıştırmak için DeepSeek-R1-Damıt-Qwen-1.5B model, uygulama:

docker exec -it ollama ollama deepseek-r1:1.5b'yi çalıştır

Deepseek-r1:1.5b'yi herhangi bir mevcut model adıyla değiştirebilirsiniz. Ollama'nın arama sayfası.

Aşağıdaki tabloda EC5000 uç bilgisayarları tarafından desteklenen DeepSeek R1 damıtılmış modelleri gösterilmektedir.

Modelle Etkileşim

Model çalışmaya başladıktan sonra, komut satırı aracılığıyla doğrudan onunla etkileşime girebilir, böylece gerçek zamanlı sorgular ve özel yapay zeka uygulamalarınıza göre uyarlanmış yanıtlar alabilirsiniz.

Not: “deepseek-r1:1.5b” ifadesini, özel gereksinimlerinize göre kullanmak istediğiniz model adıyla değiştirin.

EC5000 Donanım Kullanımının İzlenmesi

Kontrol etmek için CPU, GPU ve bellek kullanımı EC5000 edge bilgisayarınızın gerçek zamanlı olarak jtop emretmek:

sudo jtop

Bu, cihazın mevcut donanım durumunu gösterecektir.

Önemli: jtop komutu şu şekilde çalıştırılmalıdır: kök ayrıcalıkları.

Ek Notlar

DeepSeek R1 damıtılmış modeline ek olarak, EC5000 serisi uç bilgisayarlar ayrıca aşağıdakiler gibi diğer açık kaynaklı büyük dil modellerini (LLM'ler) de destekler: LLaMA3.
EC5000 uç bilgisayarlarında LLM'leri çalıştırmak Olma Mevcut tek yöntem bu değildir; özel ihtiyaçlarınıza göre diğer dağıtım seçenekleri de araştırılabilir.

EC5000 serisinde DeepSeek R1 damıtılmış modelinin kullanılması, son teknoloji yapay zekanın uç bilişim donanımıyla kusursuz bir şekilde entegre olduğunu göstererek, hafif ve yüksek performanslı uç yapay zekanın yeni bir döneminin önünü açıyor.

Damıtma teknolojisi gelişmeye devam ettikçe, işletmeler bu ilerlemeleri özel AI hizmetleri oluşturmak, veri güvenliğini sağlarken hesaplama maliyetlerini düşürmek için kullanabilir. Bu ilerleme, akıllı üretimden akıllı ulaşıma, sağlık teşhislerinden otonom araçlara kadar sektörler genelinde dönüştürücü fırsatların kilidini açarak yerel veri işleme, azaltılmış gecikme, gelişmiş veri gizliliği ve gerçek zamanlı karar alma olanağı sağlar.

InHand Networks, dünya çapındaki işletmelerin akıllı uç bilişimin geleceğini benimsemesini sağlayarak uç zeka ekosistemini geliştirmeye kendini adamıştır.

İlgili Ürünler: