カスタマイズ

Azure OpenAI を画像付きで呼び出してテキストを生成する

概要

Azure OpenAI にメッセージと画像を送信して、 Azure OpenAI が生成したテキストを取得します。

使い方

この「やること」を使用するには、 Azure OpenAI のアカウントで、言語モデルの作成と API キーの発行を実施する必要があります。

この「やること」を実行すると、 Azure OpenAI 上で作成した言語モデルに対してメッセージと画像を送信して、 そのモデルが生成したテキストを取得できます。

生成したテキストはアクションの結果値としてセットされます。アクションの結果値は「= $1」などの式を用いて参照できます。

Azure OpenAI に送信する画像はレコードと添付ファイルフィールドで指定します。 指定されたレコード×添付ファイルフィールドに含まれるすべての画像が Azure OpenAI に送信されます。

画像を付けずに Azure OpenAI にメッセージを送る場合は「Azure OpenAI を呼び出してテキストを生成する」を使用してください。

設定するパラメーター

「ターゲット URI」「Azure OpenAI API キー」「メッセージ」「画像を持つレコード」「画像」「セット先フィールド(省略可)」を設定します。

ターゲット URI

事前に Azure OpenAI 側で作成したモデルに対するターゲット URI を指定します。

kintone の URL のことではありませんので注意してください。

Azure OpenAI API キー

事前に Azure OpenAI 側で発行しておいた API キーを指定します。

kintone アプリの API トークンのことではありませんので注意してください。

メッセージ

Azure OpenAI に送信するメッセージを指定します。

画像を持つレコード

事前に取得したレコードを指定します。

複数レコードある場合、その全レコードから Azure OpenAI に送信する画像を収集します。

レコードが1つもない場合、エラーにはなりません。この場合、Azure OpenAI には画像なしで送信されます。

画像

「画像を持つレコード」から添付ファイルフィールドを選択します。

1つの添付ファイルフィールドに複数の画像が添付されている場合、全ての画像が Azure OpenAI に送信されます。

逆に、添付ファイルフィールドに1つも画像が添付されていなくてもエラーにはなりません。

セット先フィールド(省略可)

生成したテキストをフィールドにセットする場合に指定します。直接フィールドにはセットせず、テキストを別のアクションで使用したい場合は、省略できます。

選択可能なフィールドタイプは以下の通りです。

  • 文字列(複数行)

テーブル内のフィールドは選択できません。

注意事項

Azure OpenAI が生成したテキストについては、その内容の正確性などをご自身にて判断のうえ、ご自身の責任にてご利用ください。

制限事項

  • 「メッセージ」と「画像を持つレコード」上の「画像」とのサイズの合計が約50MBを超えるとエラーになります。
  • Azure OpenAI によるテキスト生成が約1分を超えるとエラーになります。
  • 対応している画像の形式は、Azure OpenAI の仕様に依存します。