您可以在 pc 上本地运行各种 llm。但是当涉及到智能手机时，选择略有限制。你必须运行一个小型语言模型，或者有一个具有足够处理能力的高级设备来处理 llm。 无论哪种方式，都可以在本地和离线与语言模型聊天。以下是您需要了解的有关在 android 上本地运行 llm 的所有信息。
如何在 android 上本地运行 llm
大型语言模型非常庞大，需要一些繁重的计算能力。但是，即使您的 android 设备有足够的资源来运行 slm（小型语言模型）和 llm，您仍然需要一个应用程序来让您通过用户友好的界面来试验它们。
这就是像 mlc chat 这样的应用程序派上用场的地方。使用以下步骤，使用 mlc 聊天应用程序在 android 上本地运行 llm。
第 1 步：安装 mlc 聊天应用程序
- mlc 聊天应用程序 |
- 首先，单击上面的链接并下载 mlc chat 应用程序的 apk。出现提示时，点击下载。
-
- 安装 mlcchat 应用。完成后，打开它。
-
第 2 步：下载 llm
在 mlcchat 应用程序上，您将有一个可以下载的可用模型列表。点击您喜欢的模型旁边的下载链接，然后等待下载。
步骤 3：运行已安装的 llm
下载后，点击旁边的聊天图标开始聊天。等待模型初始化。准备好后，继续并开始与 ai 聊天。
请注意，从 mlcchat 应用程序上的可用模型列表中，会有一些模型（例如 llama3）需要大量处理能力。但是您始终可以安装模型并进行测试，看看它们是否运行得足够流畅。如果没有，请尝试较小的语言模型。
在我们的测试中（在 nothing phone 1 上），gemma-2b 无法加载，而 llama3 杀死了系统 ui。效果好的是 llama-2 和 phi-2。llm 与其他小型语言模型之间的主要区别在于它们所训练的信息（参数）的广度。因此，请根据您的需求和 android 设备的功能选择您的型号。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/yun295229.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 
