納品形態
ConceptMiner Concept Indexは、ConceptMiner Connectorとして提供されます。
ConceptMiner Connectorは、お客様の既存RDBに接続し、指定されたViewまたはSQLの実行結果を対象として、ConceptMinerの概念構造モデルによるインデックス処理を行うための外部実行型ソフトウェアです。
Connectorは、Windows/Linux用の実行ファイル、またはDockerコンテナとして提供されます。お客様がPythonや機械学習環境を個別に構築する必要はありません。
お客様は、Connectorをインストールし、ConceptMiner APIキー、データベース接続情報、対象となるViewまたはSQLを設定して実行することで、既存RDB内にConcept Indexテーブルを生成できます。
ConceptMiner Concept Indexは、既存の業務システムやデータベースを置き換えるものではありません。既存RDBの中に、概念的な類似検索やセグメント抽出に利用できるインデックス情報を追加する仕組みです。
標準対象データベースはPostgreSQLです。その他のRDBについては、接続方式やSQL仕様を確認した上で個別にご相談となります。
ConceptMiner Connectorの役割
ConceptMiner Connectorは、既存RDBとConceptMiner APIを接続するための中間コンポーネントです。
Connectorは、指定されたViewまたはSQLから対象データを取得し、ConceptMiner APIに送信します。ConceptMiner APIでは、テキスト列の埋め込みをもとに概念構造モデルを構築し、各データレコードを対応する概念ノードに割り当てます。
処理結果はConnectorによってRDB内に書き戻されます。これにより、各データレコードと概念ノードの対応関係、ノード情報、ノード間の近傍関係などを、通常のRDBテーブルとして利用できるようになります。
作成されたConcept Indexテーブルは、通常のSQL、BIツール、業務システム、管理画面などから参照できます。これにより、同じ概念ノードに属するデータレコードや、近傍ノードに属する類似データ群を、既存RDB内で抽出できるようになります。
導入・インストール手順
ConceptMiner Concept Indexの導入は、以下の流れで行います。
1. Connectorをインストール
まず、ConceptMiner Connectorを、お客様の環境にインストールします。
Connectorは、対象となるRDBに接続できる環境で実行します。Windows/Linux用の実行ファイルとして提供するほか、必要に応じてDockerコンテナ形式での提供にも対応します。
Connectorは外部実行型のソフトウェアであり、PostgreSQL本体の拡張機能としてインストールするものではありません。そのため、既存DBの構成を大きく変更することなく導入できます。
2. APIキーを設定
次に、ConceptMiner APIキーをConnectorに設定します。
Connectorは、このAPIキーを使ってConceptMiner APIにアクセスし、対象データの概念構造モデルを作成します。
APIキーは、設定ファイルまたはConnectorの設定画面から登録します。
3. DB接続情報を設定
Connectorに、対象となるRDBへの接続情報を設定します。
設定する情報には、データベースのホスト名、ポート番号、データベース名、ユーザー名、パスワードなどが含まれます。
初回導入時には、DB接続情報やアクセス権限の確認のために、情報システム部門またはDB管理者の協力が必要になる場合があります。
ただし、設定完了後の実行や更新作業は、業務部門のユーザーがプログラミングなしで行えることを想定しています。
4. 対象ViewまたはSQLを指定
Concept Indexを作成する対象データを、ViewまたはSQLとして指定します。
対象データには、少なくとも以下の情報を含めます。
- レコードを一意に識別するID
- 類似検索や概念分類に利用するテキスト列
- 必要に応じて、表示用・絞り込み用の属性情報
たとえば、問い合わせ履歴、VoCデータ、自由記述アンケート、営業メモ、案件概要などを対象にできます。
実運用では、情報システム部門またはDB管理者が、あらかじめ対象データをViewとして用意しておく方法が安全です。その場合、業務部門のユーザーは対象Viewを選択して実行するだけで、Concept Indexを作成できます。
5. Connectorを実行
設定完了後、Connectorを実行します。
Connectorは、指定されたViewまたはSQLから対象データを取得し、ConceptMiner APIに送信します。ConceptMiner APIでは、テキスト列の埋め込みをもとに概念構造モデルを構築し、各データレコードを対応する概念ノードに割り当てます。
ユーザーは、プログラムを作成する必要はありません。設定内容を確認し、Connectorを実行するだけで処理を開始できます。
6. RDBにConcept Indexテーブルを作成
処理が完了すると、ConnectorはConceptMiner APIから結果を受け取り、RDB内にConcept Indexテーブルを作成します。
作成されるテーブルには、主に以下の情報が含まれます。
- 各データレコードと概念ノードの対応関係
- ノード番号
- ノードごとの代表情報
- ノード間の近傍関係
- 必要に応じたセグメント情報
- 実行履歴やモデル情報
これにより、既存RDB内で、同じノードに属するデータレコードや、近傍ノードに属するデータレコードをSQLで抽出できるようになります。
導入後の利用イメージ
Concept Indexテーブルが作成されると、既存RDB内で概念的な類似検索が可能になります。
たとえば、ある問い合わせレコードを選択し、そのレコードと同じノード番号を持つ問い合わせを抽出できます。また、近傍ノードまで検索範囲を広げることで、意味的に近い問い合わせ群をまとめて取得できます。
任意のテキストを入力して検索する場合は、ConnectorまたはConceptMiner APIによって入力テキストに対応するノード番号を推定し、そのノードまたは近傍ノードに属するデータレコードをRDBから抽出します。
この仕組みにより、既存の管理画面、BIツール、社内システムなどから、通常のSQLを通じて概念的に類似したデータ群を利用できるようになります。
更新処理
Concept Indexは、対象データの更新状況に応じて再実行できます。
データの追加や更新が少ない場合は、必要なタイミングでConnectorを手動またはバッチ実行します。データが定期的に追加される場合は、日次、週次、月次などのスケジュールでConnectorを実行し、Concept Indexテーブルを更新します。
新規データに対して既存モデルへの割り当てのみを行う運用と、一定期間ごとに概念構造モデル全体を再構築する運用の両方が考えられます。
実際の運用方法は、データ件数、更新頻度、利用目的に応じて調整します。
導入時に必要な情報
導入時には、以下の情報をご用意ください。
- 対象データベースの種類
- DB接続情報
- Concept Indexを作成する対象ViewまたはSQL
- レコードIDとなるカラム
- 類似検索・概念分類に利用するテキスト列
- データ件数
- データの更新頻度
- 作成されたConcept Indexを利用する業務システムやBIツールの有無
これらの情報をもとに、ConceptMiner Connectorを設定し、既存RDB内にConcept Indexテーブルを作成します。