LLM」カテゴリーアーカイブ

自社運用の生成AI / DifyをKeycloakと連携する

Dify(ディフィ)は、RAG対応のチャットボットやプログラミングの知識がなくても、大規模言語モデル(LLM)を活用したAIアプリケーションを簡単に開発・運用できるオープンソースのプラットフォームです。

 

  • AIアプリケーションの作成(ノーコード / ローコード)
  • 高度なAI機能の利用
  • 直感的なUI/UX
  • 各種のLLMとの連携

により簡単にAI環境を利用できるツールです。

Difyは

  1. クラウドでの利用( SaaS / 有償 )
  2. プレミアム版 ( セルフホスト / 有償 )
  3. エンタープライズ版 ( セルフホスト / 有償 )
  4. セルフホスティングで構築運用( OSS版 / 無償 )

などの利用方法があります。

 

ローカルLLM

自社のネットワーク管理下で利用が出来るLLMとしては

OSS

  • GPT-OSS( 開発元・米国・OpenAI)
  • Phi( 開発元・米国・Microsoft)
  • Mistral(開発元・フランス・Mistral AI)

無償で利用(独自ライセンス)

  • Gemma( 開発元・米国・Google)
  • Llama( 開発元・米国・Meta)

などがあります。

 

 

 

自社データの保護

生成AIを運用や利用をする場合、データの保護が重要なポイントになります。

データについては

  • Difyのデータ
  • LLMのデータ

2つのデータを保護する必要があります。

 

 

 

 

DifyとLLMの組み合わせ

  1. Dify-OSS版を利用してセルフホスティングで構築運用
  2. OSSや無償のLLMを利用

の構成では

Difyを自社管理のネットワークに設置して、セルフホスティングにより

  • データの機密確保
  • 無償での利用
  • オフライン環境での運用

が可能であり、セキュリティ要件が厳しい場合やコストを抑えたい場合の運用ができます。

 

アプリ Dify-OSS OSS-LLM
自社管理 & 自社運用
データアクセス & 保存先 ローカル *1 ローカル *1
費用 無償 無償

*1 自社データは外出し不要

 

 

Keycloak と連携

Difyのクラウド版などはSAML認証などもサポートしていますが、OSS版はID/パスワード認証のみであり実際の運用時には、セキュリティ面に懸念があります。

 

 

 

 

 

DifyのOSS版でKeycloakなどのidPと連携の場合には

idP SP

➡「Powered BLUE Keycloak

➡「Powered BLUE リバースプロキシ

との組み合わせにより、Keycloak / idP連携の運用が可能となります。

 

 

 

 

 

 

 

アクセスコントロール

  • 公開するアプリへのアクセス認証
  • APIへの認証
  • SSO対応

 

 

 

 

 

 

 

オフライン環境での運用

クローズドネットワークでのkeycloak連携で運用時の構成です。

  • 自社データの機密を確保しての運用

セキュリティ要件が厳しい金融、医療、公共機関などでの利用に適しています。