gpt-3.5-turbo-1106 に対応しました！

自社データに基づき問い合わせ対応するAIチャットボットを簡単に作成できるChatFAQ（チャットエフエーキュー）が、OpenAIの新しい大規模言語モデル(LLM)である gpt-3.5-turbo-1106 に対応しました。

gpt-3.5-turbo-1106 とは？

gpt-3.5-turbo-1106 は、2023年11月6日（日本では11月7日）に開催されたOpenAIの開発者向けカンファレンス「OpenAI DevDay（以下 DevDay）」で発表された新しい大規模言語モデル（Large Language Model : LLM）です。

ChatFAQでは、AIチャットボットで使用するLLMとしてこれまで gpt-3.5-turbo を採用していました。
gpt-3.5-turbo-1106は、その最新（後継）バージョンとなります。

何が変わったの？

ざっくりいうと、安くなって、沢山の情報量を扱うことができるようになりました。

モデル名	最大トークン数	料金（入力）	料金（出力）
gpt-3.5-turbo	4,096（約3,100字）	0.0015ドル(約0.23円)	0.002ドル(約0.3円)
gpt-3.5-turbo-16k	16,384（約12,500字）	0.003ドル(約0.45円)	0.004ドル(約0.6円)
gpt-3.5-turbo-1106	16,384（約12,500字）	0.001ドル(約0.15円)	0.002ドル(約0.3円)

上記の表のとおり、gpt-3.5-turbo-1106は、同じ16Kトークンに対応したgpt-3.5-turbo-16kと比較して、入力（ユーザーが送信するメッセージ）は1/3、出力（AIが回答するメッセージ）は1/2の金額で利用できます。

また、4Kトークンまでしか扱うことができない gpt-3.5-turbo と比較しても、入力料金が33%ほど安くなっています。

どうして ChatFAQで gpt-3.5-turbo-1106 を採用したの？

上記のように、低価格化と取り扱える情報量が増えたことも大きいですが、ChatFAQにおいて gpt-3.5-turbo-1106 を採用した最大の理由は スピード です。

DevDayでは特に言及されませんでしたが、これまでの gpt-3.5-turbo、gpt-3.5-turbo-16k と比較してユーザーがメッセージを送信して回答が表示されるまでのスピードが明らかに向上しています。（体感で2-3倍）

ChatFAQの開発チームがDevDayのキーノートスピーチ終了直後に gpt-3.5-turbo-1106 をテストしたのですが、そのレスポンスの早さに驚き、即採用を決定しました。

GPT-4 Turbo は使えないの？

DevDayでは、GPT-4の最新バージョンである GPT-4 Turbo (gpt-4-1106-preview）も発表されました。

GPT-4 Turboのアップデート内容は、

と非常に魅力的ではあったのですが、

のように、

自社データに基づき問い合わせに回答するAIチャットボットを、利用しやすい価格で多くのお客様に提供する

というChatFAQのミッションには現時点ではマッチしていないため、今回は採用を見送ることとなりました。

とはいえGPT-4の回答精度はGPT-3.5系と比較して圧倒的に高いため、速度や料金の問題が解消されしだいChatFAQにおいても採用予定です。

ChatFAQの技術進化への取り組みと今後について

ChatFAQでは、上記のミッションを実現するため、常に新しいテクノロジーの動向を注視しています。

今回の gpt-3.5-turbo-1106 の採用もその一環です。技術は常に進化しており、私たちはその流れに遅れることなく、お客様に最適なソリューションを提供するためにこれからも継続的なアップデートを行ってまいります。