one-api搭建-大模型API平台

Docker部署

[root@VM-4-16-centos ~]# docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:Lk******l.y@tcp(***.com:3306)/oneapi" -e TZ=Asia/Shanghai -v /one-api:/data ghcr.io/songquanpeng/one-api
Unable to find image 'ghcr.io/songquanpeng/one-api:latest' locally
latest: Pulling from songquanpeng/one-api
ec99f8b99825: Downloading [==============>                                    ]  1.081MB/3.624MB
8722496ec517: Downloading [===============>                                   ]  1.555MB/5.064MB
eefd441369f3: Downloading [==>                                                ]  974.7kB/18.53MB
162b7d1cda48: Waiting

启动完之后，访问：http://localhost:3000/

添加渠道

在创建渠道时选择Ollama，然后手工填上自己要使用的模型，最重要的是后面在代理中写上自己ollama服务的地址即可，如下图所示：

创建令牌

调用

点击复制获得ApiKey，比如"sk-peszVtFXoLnWK45bB15370Df6f344cAa9a088eF50f9c7302"，这个ApiKey是你现在搭建的本地的one-api得ApiKey，不能用于OpenAI或其他代理。

然后就可以像使用OpenAI一样进行调用了，把baseUrl和apiKey改为本地地址和刚刚生成的ApiKey即可：

    public static void main(String[] args) {
        ChatLanguageModel model = OpenAiChatModel.builder()
                .baseUrl("http://127.0.0.1:3000/v1")
                .modelName("llama3:latest")
                .apiKey("sk-kFe8D84vpDAPV*****************58eBb6dBaB3695155")
                .build();


        System.out.println(model.generate("你好"));
    }