Ollama的介绍

Ollama是一个大型语音模型平台，使用上跟ChatGPT非常的类似。
首先它是开源免费的，这对于预算有限的个人或者小型组织来说是个值得考虑的选择。
其次它可以完全离线运作，即使在没有网络的环境也能确保工作不受到中断。
最后Ollama完全是在自己的电脑中运行的，因此我们的重要数据不会被上传到云端，也不用担心会发生隐私泄露的风险。

第一步

进入https://ollama.com
在官网选择合适的系统，点击Download下载安装包。

第二步

下载完成后打开安装包，点击Install进行安装。

至此Ollama安装完毕，但要跟Ollama进行互动，事实上还需要一个操作界面“Open WebUI”
而Open WebUI必须要在Docker的环境中才能运行，Docker的安装Docker安装

第三步

确保拥有Docker容器并处在运行的状态后就可以进行Open WebUI的部署。
首先进入Open WebUI的官网https://docs.openwebui.com
根据官方文档描述来进行对应的安装。
等待安装完成后在Docker中会多出一个Open WebUI的项目。

第四步

点击项目的本地地址，进入注册一个账户（第一个账户为管理员）
接下来就会来到一个跟ChatGPT非常类似的界面，这里可以点击左下角将语音改成中文。
还有一些参数可以自行调整

第五步

接下来就是模型的选择
Ollama有整理出当前最受欢迎的开源语言模型，这里我们选择qwen2.5（通义千问）。
根据本地物理设备的能力选择合适的训练数据集模型。
8g显存可以使用7B的训练量。
在cmd命令行中输入：
ollama run qwen-2.5-7B
即可下载模型。

第六步

下载完成后可返回docker容器中的Open WebUI项目，即可在Web界面中选择Qwen2.5进行本地使用。