自社運用の生成AI / DifyをKeycloakと連携する

Dify(ディフィ)は、RAG対応のチャットボットやプログラミングの知識がなくても、大規模言語モデル(LLM)を活用したAIアプリケーションを簡単に開発・運用できるオープンソースのプラットフォームです。

 

  • AIアプリケーションの作成(ノーコード / ローコード)
  • 高度なAI機能の利用
  • 直感的なUI/UX
  • 各種のLLMとの連携

により簡単にAI環境を利用できるツールです。

Difyは

  1. クラウドでの利用( 有償 )
  2. エンタープライズ版 ( 有償 )
  3. セルフホスティングで構築運用( OSS版 / 無償 )

などの利用方法があります。

 

ローカル環境で運用できるLLM

自社のネットワーク管理下で利用が出来るLLMとしては

OSS

  • GPT-OSS( 開発元・米国・OpenAI)
  • Phi( 開発元・米国・Microsoft)
  • Mistral(開発元・フランス・Mistral AI)

無償で利用(独自ライセンス)

  • Gemma( 開発元・米国・Google)
  • Llama( 開発元・米国・Meta)

などがあります。

 

 

自社データの保護

OSS版のDifyは各種のLLMと連携が出来るため、

  1. OSS版を利用してセルフホスティングで構築運用
  2. OSSや無償のLLMを利用

の構成では

Difyを自社管理のネットワークに設置して、セルフホスティングにより

  1. 無償での利用
  2. データの機密性確保(ローカル実行)

が可能であり、コストを抑えたい場合やセキュリティ要件が厳しい場合の運用ができます。

 

Keycloak と連携

Difyのクラウド版などはSAML認証などもサポートしていますが、OSS版はID/パスワード認証のみであり実際の運用時には、セキュリティ面に懸念があります。

 

 

 

 

 

DifyのOSS版でKeycloakなどのidPと連携の場合には

idP SP

➡「Powered BLUE Keycloak

➡「Powered BLUE リバースプロキシ

との組み合わせにより、Keycloak / idP連携の運用が可能となります。

 

  • 公開するアプリへのアクセス認証
  • SSO対応

 

 

 

 

 

 

閉域網で運用

クローズドネットワークでのkeycloak連携で運用時の構成です。

自社データの機密性を確保しての運用が出来ます。

セキュリティ要件が厳しい金融、医療、公共機関などでの利用に適しています。