pathways language model 2（palm 2）是由google开发的大型语言模型（llm）。它于 2023 年 2022 月宣布作为最初于 2 年 <> 月发布的 palm 模型的继任者。palm <> 模型在海量文本和代码数据集上进行训练，可以执行各种任务，例如单词完成、代码完成、问答、摘要和情感分析。
palm 2 是一个基础模型，是 google 生成 ai 平台的核心。palm 2为google的ai聊天机器人bard提供支持，该机器人与openai的chatgpt竞争，duet ai是google的ai助手框架，该框架正在集成到google workspace和google cloud等产品中。
google正在vertex ai平台中提供palm api，并作为独立的api端点。开发人员现在可以访问vertex ai palm api，而独立端点只能通过可信测试人员计划获得。
使用 python 和 vertex ai 启动并运行
假设您是 google cloud 的订阅者，本教程将引导您完成探索 vertex ai 平台中可用的 palm api 的步骤。请注意，该服务处于预览状态，api 将来可能会更改。
让我们从为实验创建一个 python 虚拟环境开始。
python3 -m venv venv source venv/bin/activate
然后我们安装 python 模块来访问 google vertex ai 平台。
pip install google-cloud-aiplatform
我们还将安装 jupyter notebook，将其用作开发环境。
pip install jupyter
vertexai.preview.language_models，该库有多个类，包括chatmodel，textembedding和textgenerationmodel。在本教程中，我们将重点介绍 textgenerationmodel，其中 palm 2 将帮助我们根据输入提示生成博客文章。
第一步，从模块导入正确的类。
import vertexai.preview.language_models import textgenerationmodel
然后，我们将根据预先训练的模型 text-bison@001 初始化对象，该模型针对生成文本进行了优化。
model = textgenerationmodel.from_pretrained("text-bison@001")
下一步是定义一个函数，该函数接受提示作为输入，并将模型生成的响应作为输出返回。
def get_completion(prompt_text): response = model.predict( prompt_text, max_output_tokens=1000, temperature=0.3 ) return response.text
idg
该方法 predict，接受提示、令牌数和温度作为参数。让我们更好地理解这些参数。
文本生成模型参数
当我们以文本字符串的形式向 palm api 提交提示时，api 会将这些字符串转换为称为令牌的含义块。令牌大约为四个字符。100 个标记大约相当于 60 到 80 个单词。如果我们希望模型的输出在 500 个单词以内，则可以安全地将max_output_tokens值设置为 1000。模型支持的最大值为 1024。如果我们不包含此参数，则该值将默认为 64。
下一个参数温度指定模型的创造力。此设置控制令牌选择的随机程度。对于需要特定且创意较少的响应的提示，温度越低越好，而温度越高，答案就越多样化和创造性。温度值可以介于 0 和 1 之间。由于我们想要一点创造力，我们将其设置为 0.3。
温度也是一个可选参数，其默认值因型号而异。另外两个可选参数（top_k 和 top_p）允许您更改模型选择输出令牌的方式，但我们在此处跳过它们。
方法就绪后，让我们构造提示。
prompt = f""" write a blog post on renewable energy. limit the number of words to 500. """
通过传递提示来调用该方法。
response=get_completion(prompt) print(response)
idg
您应该会看到由palm生成的一篇写得很好的博客文章。
让我们通过要求 palm 生成以 html 格式格式化的内容来实现这一点。为此，我们需要修改提示。
prompt = f""" write a blog post on renewable energy. limit the number of words to 500. format the output in html. """
要以 html 格式打印输出，我们可以使用 jupyter 笔记本的内置小部件。
from ipython.display import display, html display(html(response))
现在，您可以看到以 html 格式设置的博客文章。
idg
以下是完整的代码供您参考。
from vertexai.preview.language_models import textgenerationmodel model = textgenerationmodel.from_pretrained("text-bison@001") def get_completion(prompt_text): response = model.predict( prompt_text, max_output_tokens=1000, temperature=0.3 ) return response.text prompt = f""" write a blog post on renewable energy. limit the number of words to 500. format the output in html. """ response=get_completion(prompt) print(response) from ipython.display import display, html display(html(response))
在短短几行代码中，我们调用了palm 2 llm来生成博客文章。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/yun245354.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 
