当前位置: 华文世界 > 科技

【AI大模型学习】使用SDK调用千帆模型ERNIE-Tiny-8K入门指南

2024-07-19科技

模型介绍:

ERNIE Tiny是百度自研的超高性能大语言模型,部署与精调成本在文心系列模型中最低。ERNIE-Tiny-8K是模型的一个版本,本文介绍了相关API。官网地址为:https://cloud.baidu.com/doc/WENXINWORKSHOP/s/7lsvf68uw

1、安装python的SDK

pip install qianfan

2、示例代码:

import osimport qianfanfrom dotenv import load_dotenv, find_dotenv_ = load_dotenv(find_dotenv())#【推荐】使用安全认证AK/SK鉴权,通过环境变量初始化认证信息# 替换下列示例中参数,安全认证Access Key替换your_iam_ak,Secret Key替换your_iam_skos.environ["QIANFAN_ACCESS_KEY"] = os.getenv('qianfan_ak')os.environ["QIANFAN_SECRET_KEY"] = os.getenv('qianfan_sk')chat_comp = qianfan.ChatCompletion()messages = []messages.append({ "role": "user", "content": "你好"})print("=============================\n")print("第一次的请求体:", messages)# 指定特定模型 单轮对话resp = chat_comp.do(model="ERNIE-Tiny-8K", messages=messages)print("第一次请求的结果",resp["body"]['result'])print("=============================\n")# 执行多轮对话,把模型返响应添加messages中# 返回的code为200,说明访问成功if resp["code"] == 200: messages.append( { "role": "assistant", "content": resp["body"]['result'] } )print("=============================\n")messages.append({ "role": "user", "content": "深圳有哪些美食"})print("第二次的请求体:", messages)resp = chat_comp.do(model="ERNIE-Tiny-8K", messages=messages)print(resp["body"]['result'])print("=============================\n")

messages的解释:

messages

List(message)

聊天上下文信息。说明:
(1)messages成员不能为空,1个成员表示单轮对话,多个成员表示多轮对话
(2)最后一个message为当前请求的信息,前面的message为历史对话信息
(3)必须为奇数个成员,成员中message的role必须依次为user、assistant
(4)message中的content总长度和system字段总内容不能超过24000个字符,且不能超过6144 tokens