カスタマイズ

OpenAI を画像付きで呼び出してテキストを生成する

概要

OpenAI にメッセージと画像を送信して、 OpenAI が生成したテキストを取得します。

使い方

この「やること」を使用するには OpenAI のアカウントで API キーを発行しておく必要があります。

この「やること」を実行すると、 OpenAI が提供する言語モデルに対してメッセージと画像を送信して、 そのモデルが生成したテキストを取得できます。

生成したテキストはアクションの結果値としてセットされます。アクションの結果値は「= $1」などの式を用いて参照できます。

OpenAI に送信する画像はレコードと添付ファイルフィールドで指定します。 指定されたレコード×添付ファイルフィールドに含まれるすべての画像が OpenAI に送信されます。

画像を付けずに OpenAI にメッセージを送る場合は「OpenAI を呼び出してテキストを生成する」を使用してください。

設定するパラメーター

「OpenAI API キー」「言語モデル」「メッセージ」「画像を持つレコード」「画像」「セット先フィールド(省略可)」を設定します。

OpenAI API キー

事前に OpenAI 側で発行しておいた API キーを指定します。

kintone アプリの APIトークンのことではありませんので注意してください。

言語モデル

メッセージと画像の送信先となる言語モデルを指定します。

メッセージ

OpenAI に送信するメッセージを指定します。

画像を持つレコード

事前に取得したレコードを指定します。

複数レコードある場合、その全レコードから OpenAI に送信する画像を収集します。

レコードが1つもない場合、エラーにはなりません。この場合、OpenAI には画像なしで送信されます。

画像

「画像を持つレコード」から添付ファイルフィールドを選択します。

1つの添付ファイルフィールドに複数の画像が添付されている場合、全ての画像がOpenAIに送信されます。

逆に、添付ファイルフィールドに1つも画像が添付されていなくてもエラーにはなりません。

セット先フィールド(省略可)

生成したテキストをフィールドにセットする場合に指定します。直接フィールドにはセットせず、テキストを別のアクションで使用したい場合は、省略できます。

選択可能なフィールドタイプは以下の通りです。

  • 文字列(複数行)

テーブル内のフィールドは選択できません。

注意事項

OpenAI が生成したテキストについては、その内容の正確性などをご自身にて判断のうえ、ご自身の責任にてご利用ください。

制限事項

  • 「メッセージ」と「画像を持つレコード」上の「画像」とのサイズの合計が約50MBを超えるとエラーになります。
  • OpenAI によるテキスト生成が約1分を超えるとエラーになります。
  • 対応している画像の形式は、OpenAI の仕様に依存します。

関連記事