LLM本地部署经验-1
Ollama的介绍Ollama是一个大型语音模型平台,使用上跟ChatGPT非常的类似。首先它是开源免费的,这对于预算有限的个人或者小型组织来说是个值得考虑的选择。其次它可以完全离线运作,即使在没有网络的环境也能确保工作不受到中断。最后Ollama完全是在自己的电脑中运行的,因此我们的重要数据不会被上传到云端,也不用担心会发生隐私泄露的风险。
第一步进入https://ollama.com在官网选择合适的系统,点击Download下载安装包。
第二步下载完成后打开安装包,点击Install进行安装。
至此Ollama安装完毕,但要跟Ollama进行互动,事实上还需要一个操作界面“Open WebUI”而Open WebUI必须要在Docker的环境中才能运行,Docker的安装Docker安装
第三步确保拥有Docker容器并处在运行的状态后就可以进行Open WebUI的部署。首先进入Open WebUI的官网https://docs.openwebui.com根据官方文档描述来进行对应的安装。等待安装完成后在Docker中会多出一个Open WebUI的项目。
第四步点击项目的本地 ...
经验
Docker安装Docker 是一个流行的容器化平台,可以帮助您打包和部署应用程序。以下是在不同操作系统上安装 Docker 的步骤:
Windows:
访问 Docker 官网 (https://www.docker.com/products/docker-desktop)下载适用于 Windows 的 Docker Desktop 安装程序运行安装程序并按照屏幕上的提示完成安装
macOS:
访问 Docker 官网 (https://www.docker.com/products/docker-desktop)下载适用于 Mac 的 Docker Desktop 安装程序运行安装程序并按照屏幕上的提示完成安装
Linux:
打开终端根据您使用的 Linux 发行版,运行以下命令之一:
Ubuntu/Debian: sudo apt-get update && sudo apt-get install docker.ioCentOS/RHEL: sudo yum install docker-ce docker-ce-cli containerd ...
短文
想得开最近我阅读到一则有趣的故事,它讲述了一位老木匠砍下了一棵树,然后做了三个木桶,分别用来装水、酒和粪便。水桶让众人受益,酒桶让众人欣赏,而粪桶则让众人避之唯恐不及。这则故事让我意识到,我们每个人都像这个木匠手中的三个桶一样,同样出自一个源头,但我们的命运却因所含的东西不同而不同。
读完这则故事,我开始思考,貌似“酒桶”是最高级的,“水桶”是普遍的,而“粪桶”的形象则是令人作呕的。这让我感到有些不安,因为我并不知道自己应该属于哪一种桶。然而,我想到每个人的经历和人生不同,如果能充分发挥所长的话,即便是作为幸福的“粪桶”也不失为一种美好的存在。毕竟,在生活中使用粪桶也是至关重要的。
朋友听到我如此说,不由笑道:“谁愿意做粪桶呀?看不出,你还蛮想得开。”我觉得想得开,其实并不难。我们常常因为一些小事儿而把自己弄得很不开心,但如果能够用一种正确的心态来处理这些事情,就会更加快乐。
首先,我们需要接受现实。有时候,我们会对某些事情有着过高的期望,都希望成为“酒桶”,而当事情并不如我们所愿时,就会感到失望或沮丧。但是,如果我们在开始时就对现实有着正确的认识,并接受这个情况,那我们就会释然很多。 ...
中秋节快乐!
祝中秋佳节阖家欢乐!亲爱的读者们,
随着秋风轻拂,月华如练,我们共同迎来了这个充满温情与团圆的中秋佳节。在这个特别的时刻,我想借由我的博客,向每一位远道而来的你,送上我最真挚的祝福。
愿这轮明亮的满月,不仅照亮我笔下的文字,也照亮你心中的每一个角落。愿它成为我们共同仰望的灯塔,无论你我身处何方,都能感受到那份跨越千山万水的温暖与连接。
在这个中秋夜,我祝愿你:家庭和睦,幸福安康;事业有成,前程似锦。愿你的每一天都如这中秋之月般圆满,每一个梦想都能照进现实,绽放出最耀眼的光芒。
同时,也感谢你们一直以来的陪伴与支持,是你们的鼓励让我有动力继续前行,用文字记录下生活的点滴美好。在这个团圆的节日里,虽然我们不能面对面相聚,但我的心与你们同在,共享这份节日的喜悦与温馨。
最后,愿我们都能在中秋的月光下,找到属于自己的那份宁静与幸福,让爱与温暖永远伴随左右。中秋快乐,愿我们未来的日子里,都能如这轮明月般,光明、圆满、美好!
第一篇文章
blog诞生啦!blog诞生啦!