introduction-llm02

環境構築

下記を実行。 [email protected] が実行され、What is your project named/ に web と入力。 残りは全部そのまま選択。

make init

docker立ち上げ

下記実行

make docker-up

llm(APIサーバ)の立ち上げ

コンテナに入って/rootディレクトリで下記を実行。

bash gihyo-langchain-search/llm/startup-server.sh

接続の確認

curl -X POST 'http://localhost:8503/graph/invoke' -H 'Content-Type: application/json' -d '{"input": {"messages": [["user", "今日の天気を教えて"]]}}'

hook-main

最初に試した小さいmainを残している。 下記で接続の確認ができる。コンテナでもホストでもアクセスできる。

curl -X POST 'http://localhost:8503/openai/invoke' -H 'Content-Type: application/json' -d '{"input": [{"type": "human", "content": "hello"}]}'

ストリームでの接続。

curl -X POST 'http://localhost:8503/openai/stream' -H 'Content-Type: application/json' -d '{"input": [{"type": "human", "content": "hello"}]}'