InHand AI Edge Bilgisayarlarında DeepSeek R1 Distilled Modelini Çalıştırma
Bloglar
Önemli Noktalar
InHand AI Edge Bilgisayarlarında DeepSeek R1 Distilled Modelinin Çalıştırılması: Açık kaynaklı bir yapay zeka modeli olan DeepSeek R1, yapay zeka topluluğunda verimlilik ve performansı yeniden tanımlıyor. Bu başarı, hafif uç cihazların yapay zeka çıkarım görevlerindeki güçlü potansiyelini doğruluyor.
Açık kaynaklı bir yapay zeka modeli olan DeepSeek R1, yapay zeka topluluğunda verimlilik ve performansı yeniden tanımlıyor. En son bilgi damıtma teknolojisi, karmaşık modelleri hafif ve güçlü makinelere dönüştürerek üst düzey çıkarım yetenekleri sunuyor. Açık kaynak erişilebilirliği ve hafif tasarımın bu birleşimi, yapay zeka dağıtımının önündeki engelleri azaltıyor ve uç bilişim için yeni olanaklar yaratıyor.
InHand Networks' yapay zeka teknoloji ekibi, DeepSeek R1 damıtılmış modelini başarıyla devreye aldı. EC5000 serisi yapay zeka uç bilgisayarlarıBu başarı, hafif uç cihazların yapay zeka çıkarım görevlerindeki güçlü potansiyelini doğrulamaktadır. Geleneksel bulut tabanlı dağıtımlara kıyasla, uç yapay zeka hesaplama, yüksek performanslı sunuculara olan ihtiyacı ortadan kaldırarak düşük güç tüketimli ortamlarda gerçek zamanlı çıkarım yapılmasını sağlar. Bu da yapay zeka çözümlerini daha verimli hale getirir. esnek, güvenli ve verimli Örneğin, şu gibi uygulamalar için: endüstriyel kalite denetimi, akıllı ulaşım ve teletıp.
EC5000 Yapay Zeka Uç Bilgisayarlarında DeepSeek R1 Damıtılmış Modelinin Çalıştırılması
Birkaç adımda, DeepSeek R1'in temel sürümünü EC5000 serisi uç bilgisayarlara dağıtabilirsiniz:
Adım 1: Nvidia'nın Jetson Containers Toolkit'ini yükleyin.
(Bu araç seti, konteynerleştirilmiş yapay zeka uygulamalarının verimli bir şekilde yönetilmesine ve dağıtılmasına yardımcı olur.)
Jetson Containers araç setini indirmek ve kurmak için aşağıdaki komutları çalıştırın:
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
Adım 2: Nvidia JetPack Toolkit'i yükleyin
(JetPack, Jetson destekli cihazlarda yapay zeka iş yüklerini çalıştırmak için gerekli sürücüleri ve kütüphaneleri sağlar.)
JetPack araç setini yüklemek için şu komutu çalıştırın:
Sonraki adımlara geçmeden önce yaklaşık bir dakika bekleyin.
3. Adım: Ollama Konteynerini İndirin ve Çalıştırın
docker run -itd --runtime nvidia --name ollama ollama/ollama
4. Adım: DeepSeek R1 Distilled Modelini İndirin ve Ollama ile Çalıştırın
Referans: DeepSeek R1 Kütüphanesi
Uygun DeepSeek R1 damıtılmış modelini seçin. Ollama'nın kütüphanesi ve komut satırı aracılığıyla otomatik olarak yükleyin. Örneğin, çalıştırmak için DeepSeek-R1-Distill-Qwen-1.5B model, yürüt:
deepseek-r1:1.5b yerine mevcut diğer model adlarından herhangi birini kullanabilirsiniz. Ollama'nın arama sayfası.
Aşağıdaki tabloda EC5000 uç bilgisayarları tarafından desteklenen DeepSeek R1 özetlenmiş modelleri gösterilmektedir.
Modelle Etkileşim
Model çalışmaya başladıktan sonra, komut satırı üzerinden doğrudan etkileşim kurabilir, böylece belirli yapay zeka uygulamalarınıza göre uyarlanmış gerçek zamanlı sorgular ve yanıtlar oluşturabilirsiniz.
Not: “deepseek-r1:1.5b” ifadesini, özel gereksinimlerinize bağlı olarak kullanmak istediğiniz model adıyla değiştirin.
EC5000 Donanım Kullanımının İzlenmesi
Kontrol etmek için CPU, GPU ve bellek kullanımı EC5000 uç bilgisayarınızın gerçek zamanlı performansını izlemek için şunu kullanın: jtop emretmek:
Bu, cihazın mevcut donanım durumunu gösterecektir.
Önemli: jtop komutu şu şekilde çalıştırılmalıdır: kök ayrıcalıkları.
Ek Notlar
- DeepSeek R1'in temel modeline ek olarak, EC5000 serisi uç bilgisayarlar, aşağıdakiler gibi diğer açık kaynaklı büyük dil modellerini (LLM'ler) de desteklemektedir: LLaMA 3.
- EC5000 uç bilgisayarlarında LLM'leri çalıştırma yoluyla Ollama Bu, mevcut tek yöntem değildir; özel ihtiyaçlarınıza bağlı olarak diğer dağıtım seçeneklerini de inceleyebilirsiniz.
DeepSeek R1'in damıtılmış modelinin EC5000 serisine entegre edilmesi, en son yapay zeka teknolojisinin uç bilgi işlem donanımıyla kusursuz entegrasyonunu göstererek, hafif ve yüksek performanslı uç yapay zeka alanında yeni bir dönemin önünü açıyor.
Damıtma teknolojisi gelişmeye devam ettikçe, işletmeler bu ilerlemelerden yararlanarak özel yapay zeka hizmetleri oluşturabilir, bilgi işlem maliyetlerini düşürürken veri güvenliğini de sağlayabilirler. Bu ilerleme, akıllı üretim ve akıllı ulaşımdan sağlık teşhisine ve otonom araçlara kadar sektörler genelinde dönüştürücü fırsatların önünü açarak yerel veri işlemeyi, gecikmeyi azaltmayı, veri gizliliğini artırmayı ve gerçek zamanlı karar vermeyi mümkün kılıyor.
InHand Networks, dünya çapındaki işletmelerin akıllı uç bilişimin geleceğini benimsemelerini sağlayarak, uç zeka ekosistemini geliştirmeye olan bağlılığını sürdürmektedir.
Gelecek Ürünler
EC5550
NVIDIA Jetson Orin NX 16GB, 100 TOPS, zengin endüstriyel arayüzler ve bulut tabanlı yönetim özelliklerine sahip yapay zeka uç bilgisayarı.
NVIDIA AI
Jetson Orin NX 16GB, 100 TOPS'a kadar
Zengin Giriş/Çıkış
2xGE, 2xseri, 6xUSB3.2, CAN FD, GMSL2
Genleşme
M.2 B/E/M yuvası, çift SIM, NVMe depolama
Bulut Yönetimi
DeviceLive bulut yönetimi, DSA entegrasyonu
