當前位置: 華文世界 > 科技

【AI大模型學習】使用SDK呼叫千帆模型ERNIE-Tiny-8K入門指南

2024-07-19科技

模型介紹:

ERNIE Tiny是百度自研的超高效能大語言模型,部署與精調成本在文心系列模型中最低。ERNIE-Tiny-8K是模型的一個版本,本文介紹了相關API。官網地址為:https://cloud.baidu.com/doc/WENXINWORKSHOP/s/7lsvf68uw

1、安裝python的SDK

pip install qianfan

2、範例程式碼:

import osimport qianfanfrom dotenv import load_dotenv, find_dotenv_ = load_dotenv(find_dotenv())#【推薦】使用安全認證AK/SK鑒權,透過環境變量初始化認證資訊# 替換下列範例中參數,安全認證Access Key替換your_iam_ak,Secret Key替換your_iam_skos.environ["QIANFAN_ACCESS_KEY"] = os.getenv('qianfan_ak')os.environ["QIANFAN_SECRET_KEY"] = os.getenv('qianfan_sk')chat_comp = qianfan.ChatCompletion()messages = []messages.append({ "role": "user", "content": "你好"})print("=============================\n")print("第一次的請求體:", messages)# 指定特定模型 單輪對話resp = chat_comp.do(model="ERNIE-Tiny-8K", messages=messages)print("第一次請求的結果",resp["body"]['result'])print("=============================\n")# 執行多輪對話,把模型返響應添加messages中# 返回的code為200,說明存取成功if resp["code"] == 200: messages.append( { "role": "assistant", "content": resp["body"]['result'] } )print("=============================\n")messages.append({ "role": "user", "content": "深圳有哪些美食"})print("第二次的請求體:", messages)resp = chat_comp.do(model="ERNIE-Tiny-8K", messages=messages)print(resp["body"]['result'])print("=============================\n")

messages的解釋:

messages

List(message)

聊天上下文資訊。說明:
(1)messages成員不能為空,1個成員表示單輪對話,多個成員表示多輪對話
(2)最後一個message為當前請求的資訊,前面的message為歷史對話資訊
(3)必須為奇數個成員,成員中message的role必須依次為user、assistant
(4)message中的content總長度和system欄位總內容不能超過24000個字元,且不能超過6144 tokens