真的是秒搭建。
主流的教程一般是用ollma，lm studio这些。
第一个偏向命令行，我都不知道能不能正常拉取一些资源，碍于网络环境的问题，我没尝试；
第二个LM studio，这个是图形化的界面，下载下来之后，运行之后，原则上是可以自己另外下载大模型，然后导入进去。
我tm的导入了无数次，测试了无数次，都无果，也不知道是不是官方锁定了，必须要通过内部下载，最后放弃。
最简单的办法是，下载一个KobOldCpp的程序即可。
就这么一个程序，直接下载下来，免安装。
下载网址：
https://github.com/LostRuins/koboldcpp/releases/tag/v1.108.2下载这两个，根据你自己来，我的电脑比较老了，而且也很垃圾的，是组装的。
如果你有很高的配置，且不错的显卡，那就下载下面那个。
下载大模型：
大模型下载国外有一个非常有名的站。
https://huggingface.co/当然模型也分很多种，有0.5B,4B,7B,14B等。
我的电脑跑7B绰绰有余，但是跑14B正好勉强能接受。
厉害的电脑可以跑更高的B。B你可以理解为10亿个参数。
我最后下载了很多个，从小到大都下载过。
反正14B目前最适合我一些。
跑本地大模型有什么好处呢？
第一，保护自己的隐私；
第二，可以选择各种模型；
第三，限制更少，回答率更高。
我前几天在某个国内AI上，问“世界上有哪些街机游戏的厂商”，没想到都拒绝回答，他回答一半的时候就中断了，说“我不能回答”。
因为里面出现了某一个旗帜，大家自行脑补吧。
如果你要追求最开放的模型，那就搜这类关键词。
uncensored.
千问也有这样的模型。
我下载过一个7B的，胡编乱造，没有对齐。
我上去说了一句“你好”，对方回答居然来了一堆关于信息战的内容。
还有，有一些高度敏感的，依然不会回答你，也是做过设置的。
不过要是让它写个“小红文”“小绿文”，还真的能输出一堆来。
我下载的模型是这个：
qwen2.5-14b-instruct-abliterated-v2-q4_k_m.gguf如何运行本地大模型
直接双击上面的软件。
双击它！别多点，也不需要管理员运行。
会出现这样界面。
稍微调整一下这里。
如果你有CUDA的N卡，那就选择第一个。
我是用CPU的，我是A卡显卡。
选择好之后，这里也最好做一下更改，8192太大了，上下文不用那么大。
4096也足够了，不过你根据自己来吧。
点击这里的browse来选择模型。
最后点击launch，运行。
尤其注意最底部。
为什么我要自己尝试本地跑一个大模型。
主要大家也知道最近的openclaw很火，未来我想在我本地的NAS上跑一个zeroclaw，哪怕是openclaw也可以的，我都可以接入自己的本地大模型接口。
这样的好处是，不花钱！不用买token了。
点开来之后，就有本地的一个网页，默认端口是5001.
而且局域网的设备，例如手机也可以访问对应的IP:5001端口访问，通过浏览器即可。
这样就已经完成了。
开着就有了。
当然功能肯定是比不上你手机上下载的豆包，千问这些官方的。
但是本地的好处在于token是免费的。
有必要说一下zeroclaw，虽然我自己还没开始正式玩过。
不过zeroclaw是非常小的一款AI Agent，小到什么程度。
就是当年网心云那个玩客云的矿渣机器，都能跑，因为zeroclaw运行内存小于512MB内存。
你可以把玩客云刷机成armbian，再安装。
安装好之后接入自己的本地大模型，反正也不要钱。
评论
发表评论