AWS環境でDify-OSS版をNVIDIAのGPUを利用する場合の、OS・CUDA・NVIDIAドライバ・docker環境を組み合わせたGPU対応のdockerアプライアンスです。
GUIからアプライアンスを簡単に構築や設定ができるため、環境構築や運用にかかる手間を大幅に削減することができます。
自社の管理下で運用できるため、AWSの基盤を利用してデータを保全しながら自社の生成AIの構築や運用が可能です。
Powered BLUE GPU アプライアンス構成
自社管理で運用できるGPU対応のdockerアプライアンスです
Amazon / EC2 / NVIDIA社のGPUインスタンスに対応
- 対応OS ( RedHat 9.x / RockyLinux 9.x / AlmaLinux 9.x ）
-
NVIDIAドライバ （CUDA）
-
docker対応
- GUI設定対応
- バックアップ＆リストア対応
 |
| GPU対応docker アプライアンス |
インスタンスにアサインのGPU
EC2 / g4dn.xlarge でのGPUの表示 例
- GPU モデル / Tesla T4
- 温度 / 26度
- コア数 / 8Core
- 使用電力 / 9W (Max 70W)
- GPU Memory / 15.36GB
dockerコンテナ
dockerで任意のコンテナを運用できます
- Dify
- LLM
- Portainer
- 各種コンテナ
Dify+LLMの構成例
Dify-OSS版をdockerコンテナのセルフホストで運用。OSSのLLMもdockerのコンテナで運用する場合、自社データを外部へ出すことなくクローズドな環境での運用が可能です。また外部のLLMを使わない場合、LLMの費用は発生しません。
自社のネットワーク管理下で、データを外出しすることなく利用が出来るLLMとしては
OSS
- GPT-OSS（ 開発元・米国・OpenAI）
- Phi（ 開発元・米国・Microsoft）
- Mistral（開発元・フランス・Mistral AI）
無償で利用（独自ライセンス）
- Gemma（ 開発元・米国・Google）
- Llama（ 開発元・米国・Meta）
などがあります。
DifyとLLMの組み合わせ
- Dify-OSS版のコンテナ（ セルフホスト ）
- OSS-LLM版のコンテナ （OSS版 / LLM）
| アプリ | Dify-OSS | OSS-LLM |
| docker コンテナ | ✅ | ✅ |
| 自社管理 ＆ 自社運用 | ✅ | ✅ |
| データアクセス ＆ 保存先 | ローカル *1 | ローカル *1 |
| 費用 | 無償 | 無償 |
*1 自社データは外出し不要
閉域網での運用
クローズドネットワークでの運用構成例です。
- 自社データの機密を確保しての運用
セキュリティ要件が厳しい金融、医療、公共機関などでの利用に適しています。
バックアップ&リストア機能
ホスト側からのdocker基盤およびコンテナのバックアップ＆リストア
- コンテナアップデート前のバックアップ
- スケジュールバックアップ
