InHand AIエッジコンピュータ上でDeepSeek R1 Distilledモデルを実行する
ブログ
主なポイント
InHand AIエッジコンピュータ上でDeepSeek R1 Distilledモデルを実行 オープンソースのAIモデルであるDeepSeek R1は、AIコミュニティにおける効率性とパフォーマンスを再定義しています。今回の成果は、AI推論タスクにおける軽量エッジデバイスの強力な可能性を証明するものです。
オープンソースのAIモデルであるDeepSeek R1は、AIコミュニティにおける効率性とパフォーマンスを再定義しています。最先端の知識蒸留技術により、複雑なモデルを軽量で強力なモデルへと変換し、最高レベルの推論能力を実現します。オープンソースならではのアクセスのしやすさと軽量設計の組み合わせは、AI導入の障壁を低くし、エッジコンピューティングの新たな可能性を切り開きます。
InHand NetworksのAI技術チームは、DeepSeek R1蒸留モデルを正常に展開しました。 EC5000シリーズAIエッジコンピュータこの成果は、AI推論タスクにおける軽量エッジデバイスの強力な可能性を実証するものです。従来のクラウドベースの展開と比較して、エッジAIコンピューティングは高性能サーバーの必要性を排除し、低電力環境でのリアルタイム推論を可能にします。これにより、AIソリューションはより 柔軟性、安全性、効率性 次のような用途向け 工業品質検査、インテリジェント交通システム、遠隔医療.
EC5000 AIエッジコンピュータ上でDeepSeek R1 Distilled Modelを実行する
わずか数ステップで、DeepSeek R1の蒸留モデルをEC5000シリーズのエッジコンピュータに展開できます。
ステップ1：NvidiaのJetson Containers Toolkitをインストールする
（このツールキットは、コンテナ化されたAIアプリケーションを効率的に管理およびデプロイするのに役立ちます。）
Jetson Containersツールキットをダウンロードしてインストールするには、以下のコマンドを実行してください。
git clone https://github.com/dusty-nv/jetson-containers
bash jetson-containers/install.sh
ステップ2：Nvidia JetPack Toolkitをインストールする
（JetPackは、Jetson搭載デバイス上でAIワークロードを実行するために必要なドライバとライブラリを提供します。）
JetPackツールキットをインストールするには、以下を実行してください。
次のステップに進む前に、約1分間お待ちください。
ステップ3：Ollamaコンテナをダウンロードして実行する
docker run -itd --runtime nvidia --name ollama ollama/ollama
ステップ4：Ollamaを使用してDeepSeek R1 Distilled Modelをダウンロードして実行する
参照： DeepSeek R1ライブラリ
適切な DeepSeek R1 蒸留モデルを以下から選択してください。 オラマの図書館 コマンドラインから自動的にインストールします。たとえば、 DeepSeek-R1-Distill-Qwen-1.5B モデル、実行:
deepseek-r1:1.5b は、以下の他の利用可能なモデル名に置き換えることができます。 オラマの検索ページ.
下の表は、EC5000エッジコンピュータでサポートされているDeepSeek R1の蒸留モデルを示しています。
モデルとのインタラクション
モデルが起動したら、コマンドラインから直接操作できるようになり、特定のAIアプリケーションに合わせたリアルタイムのクエリと応答が可能になります。
注記： 「deepseek-r1:1.5b」を、ご自身の具体的な要件に基づいて使用したいモデル名に置き換えてください。
EC5000ハードウェア使用状況の監視
確認するには CPU、GPU、メモリの使用状況 EC5000エッジコンピュータのリアルタイム監視には、 jtop 指示：
これにより、デバイスの現在のハードウェア状態が表示されます。
重要： jtopコマンドは、 ルート権限.
補足事項
- DeepSeek R1 蒸留モデルに加えて、EC5000 シリーズのエッジ コンピュータは、次のような他のオープンソースの大規模言語モデル (LLM) もサポートしています。 LLaMA 3.
- EC5000エッジコンピュータ上でLLMを実行する オラマ これは唯一の方法ではありません。お客様の具体的なニーズに基づいて、他の導入オプションを検討することも可能です。
DeepSeek R1の蒸留モデルをEC5000シリーズに展開することで、最先端のAIとエッジコンピューティングハードウェアのシームレスな統合が実証され、軽量かつ高性能なエッジAIの新時代への道が開かれます。
蒸留技術の進化に伴い、企業はこれらの技術革新を活用してプライベートAIサービスを構築し、コンピューティングコストを削減しながらデータセキュリティを確保することができます。この進歩は、スマート製造やインテリジェント輸送から、ヘルスケア診断や自動運転車に至るまで、あらゆる産業に革新的な機会をもたらし、ローカルでのデータ処理、レイテンシの低減、データプライバシーの強化、リアルタイムの意思決定を可能にします。
InHand Networksは、エッジインテリジェンスのエコシステムを推進することに引き続き尽力し、世界中の企業がインテリジェントエッジコンピューティングの未来を受け入れられるよう支援していきます。
将来発売予定の製品
EC5550
NVIDIA Jetson Orin NX 16GB（100 TOPS）、豊富な産業用インターフェース、クラウドネイティブ管理機能を備えたAIエッジコンピュータ。
NVIDIA AI
Jetson Orin NX 16GB、最大100 TOPS
豊富なI/O
GEポート×2、シリアルポート×2、USB3.2ポート×6、CAN FD、GMSL2
拡大
M.2 B/E/Mキー、デュアルSIM、NVMeストレージ
クラウド管理
DeviceLiveクラウド管理、DSA統合
