对于大多数普通人来说，本地部署大模型没必要。
对大多数普通人来说， 云端服务更方便，且足够好用。
通过网页或API使用ChatGPT等工具，无需折腾硬件、代码和环境配置。
况且云端服务按需付费（甚至免费），而本地部署需要高性能设备，电费和维护成本高。很吃机器配置的。
云端模型通常是更新、更强大的版本，本地部署的模型往往是精简版，能力差距太大。
本地部署门槛高，普通人难以操作
硬件要求高，大模型需要高端显卡（如RTX 3090以上）、大内存，普通电脑根本跑不动。
再说技术难度，部署过程涉及代码、环境配置、模型优化，非技术人员大概率会卡在报错环节。
而且部署以后还涉及到维护的问题，维护麻烦。更新模型、修复漏洞、优化性能都需要持续投入精力。
什么情况才需要本地部署？
如果你极度注重隐私，不想让任何数据离开自己的设备（比如处理敏感信息）。
如果你强制离线环境，无网络可用，但需要AI功能（如偏远地区、特殊工作场景）。
如果你是技术极客/开发者，想研究模型原理、二次开发，或定制专属AI工具。
如果你满足以上这三类人，你可以部署本地。其他情况不推荐。
总结来说，
普通人用AI就像用电，直接插插座就行，没必要自己建发电厂。
除非你有特殊需求（比如隐私、科研），否则别折腾本地部署，用现成的云端服务更省心。
如果觉得我说的对你有帮助，请点赞，关注，支持一下。同时欢迎在评论区讨论。
你要是个人用，本地部署有什么意义？
小模型智商低，布置了没用，不如去充钱用更聪明的；
大模型花费高，拿去充订阅或者买API够你用几十年。
然后新的更好的模型出来咋办？
至于隐私，就个人那点数据，大部分值不到买硬件的那个钱。
公司的、科研的另说。
推广区：2025.02.13新闻，openthinker 32b也能实现与deepseek R1 32b的效果（抱歉之前看错了），大小20G，只需要24G显存或者内存就可以运行。值得关注
ollama有，一样部署步骤。
不知道大家能不能看到收藏，我这里显示收藏是点赞的三倍多，大家是冲着部署的详细教程去的。
所以我认为，deepseek部署有可行性就够了，至于有没有必要性，很多人没那么重要。
大家听到openai训练ai需要几千亿美元，让ai推理需要十块H100(一块280万人民币)，部署满血deepseekR1需要几十几百万，可能吓到了。
因为deepseek部署费用太吓人，所以才问是否必要。然而只要可行性够，必要性不重要。
我的原文讲了部署deepseek的小蒸馏模型的可行性，我猜大家收藏就是为了这部分。我依旧愿意讲一讲必要性。
评论区 @知乎用户blfIvF 问到是否能回答食谱，
@大哥喝了酒 则提到了本地特化ai
你错了。 为什么大模型只能给出一个大概的方向，而给不了一个具体的操作步骤。 那是因为地球上的数据，能在互联网爬到的，已经基本上爬完了。 所以越是跟互联网开放的行业，如it,能用来训练大模型的数量和质量越好。在大模型上的表现也就越好。 但是，除了互联网上的数据，各行各业存在于各公司电脑，各从业者电脑的本地数据，这些数据才是将来大模型广泛应用的需要的东西。 这些东西能给出来吗？举个例子，比亚迪的三电数据，成本数据这些核心数据会让你通用大模型来训练吗？那大家都懂了，比亚迪靠什么吃饭呢？ 所以，通用大模型的发展方向是努力创造更先进的算法，而ai的应用一定是本地部署＋本地数据库。 甚至大模型到最后一定是类似于pc电脑那样的个人助手，谁的数据多更好，谁就更具竞争力。
我想将两位的问答结合起来，就是我们部署ai小模型的必要性。
我们的手机是特化的，汽车也是特化的，都有自己的用处。通用人工智能AGI虽然有各种技能，但不掌握各个行业的核心数据，核心数据是各个公司的核心财产，人家不共享，所以哪怕智能从现在的智障ai进化成AGI，在很多专业问题上，依旧需要专业AI，比如食谱AI。
未来会有专业特化的AI，比如高德公司可能会出品出行AI，不仅会导航，还会进军买票领域。
你要是爬山，可能会出一个爬山AI，综合地质学、生态学、地图路线、天气预报、sos救援、急救知识，你只需要问他，你就能告诉你所需要的一切。
食谱AI，需要在现在小模型基础上，加入营养学、卫生学、基础物理化学、物种学等知识，它甚至可以自行推演食谱。当然你喂一些食谱也是极好的。最后出来的食谱AI会非常有用。
食谱ai会取代家庭营养师，我想这几乎是肯定的，如果食谱ai能出来的话。食谱AI的问题是中毒等风险，所以需要药理学知识。
诸如此类吧。那么如何训练食谱ai，就需要加入刚才说的，比如药理学营养学等等知识，还需要加入各地的农作物种类产量，甚至可以接入农作物实时数据，就可以针对当地的物价给出最优惠且最好吃最有营养的食谱。
如何给AI喂药理学营养学知识？RAG，用资料喂，这是现阶段我们普通人能做的，但做不出真正的食谱AI。可以用unsloth，对模型进行调试，加入这些知识，然后缝合在一起，搞出来一个食谱AI分支，我看32B的小模型完全够用。总之现在AI日新月异，未来几个月会有更好算法，需要硬件更少。可以搞一个特化的AI出来。
这些经过严格训练的AI，比通用AI来说，会在敏感问题上针对性训练，比如食谱ai的中毒问题。这种针对专业问题特化的AI，绝对比通用AI有价值。
所以我个人觉得，个人入手，熟悉一下，对未来帮助很大。很多常识储备以供咨询的岗位，比如营养师，几乎可以肯定会下岗。AI的冲击会到来的。
西西里民谚，与你的朋友近些，但要跟你的敌人更近些。AI这玩意儿不管你怎么说，都会深刻影响和塑造未来的社会。AI或许如果不是你的朋友，那么你就更应该离你的敌人更近些。
废话少叙，直接上部署的配置和步骤：
我的电脑配置很低：
i7 Q720是一代i7，65nm制程，十五年前的cpu；性能可能只有现在顶级cpu的百分之一。
我的显卡就是个亮机卡，nvidia nvs 5100m，是换壳版gt216m。
RAM内存2×8，总共16G
部署了最小的蒸馏模型1.5b，可以解初中、高中、大学的数学题和物理题、化学题。
有人问我要整道题的步骤，贴不了，太大了，我放云盘了，链接: https://pan.baidu.com/s/1tHMJjP2IftjSupWcqqMfgw?pwd=0000 提取码: 0000 复制这段内容后打开百度网盘手机App，操作更方便哦
我问了一道初中化学题，如下：
具体解题如下：
我觉得这就很够了。十五年前的电脑，随意初中、高中、大学的数学、物理、化学题都能跑，这就够了。这就是意义。
还能跑诗歌，你要是写网文，结尾搞一首切题的律诗，逼格不是上去了吗。
1.5B跑诗歌不行：
亲测14B可以，提示词里需要加入“多想几遍”：
14B比1.5B表现好的多。或许1.5B的提示词里加“多思考二十遍”也能达到类似效果。
问题是欧盟最近搞了AI的相关的规定，禁止虐待有意识的AI。1.5B的蒸馏模型应该没有自我意识。即使有，我国也没有加入和认可这个协议。事实上我认为有意识的AI应该是禁止产生的。
推荐用ollama＋page assist插件。
下载ollama（ollama.com/），据说不好下载，有的地区下载不了。我也是当初花了半个小时到处找的。
七百多兆，我上传了
链接: https://pan.baidu.com/s/1aY0G7D4rpCe8pD-saRZehw?pwd=0000 提取码: 0000
下载后运行，
然后去ollama官网找代码。点到deepseek那，复制代码，用cmd运行，它自动从网上下载模型。
就下载完毕了。
代码如下：
ollama run deepseek-r1:1.5b ollama run deepseek-r1:7b ollama run deepseek-r1:14b ollama run deepseek-r1:32b
据说32B的比较合适，看内存，数据的大小如果大于内存，肯定不行。
1.5B需要至少1.1GB7B需要至少4.7GB14B需要至少9.0GB32B需要至少20GB
你的电脑系统也需要占用总内存的大概30%，剩下的内存你看够不够。
有个邪法，你把硬盘调成内存，具体步骤自己百度。整出500G的内存也能运行471G完整版的deepseekR1，缺点是奇慢无比（内存花半个小时的问题，用这个办法需要几天几个星期），而且你的硬盘会很快坏掉。这个基本上是极端不推荐，因为没有意义。
page assist是浏览器插件，Chrome的需要魔法，我推荐firefox，不用魔法，而且火狐浏览器挺好，我一直用不惯Chrome。
下载完，安装完，就可以在浏览器里调，把page assist图标放浏览器显眼处，打开，设置一通，别问我，你不是白痴，你要相信自己。
设置一项项点开，有把握的就修改，没把握的就默认。
page asaist甚至允许deepseek本地模型联网，比chatbox强多了。
你可以问时间，天气只怕不行，也不能推荐电影票。
聊天数据还可以报保存为json文件等。
甚至还能RAG。也就是你喂他一些文档，他总结给你说。
这个nomic-embed-latest也是从ollama下的
这个插件太强了，还能调黑色，免得晚上亮瞎狗眼
总结就三条：
部署很简单
性能很出色
配置可以很落后
什么10块h100（一块280万人民币），完全不需要，本地简单用是可以的。
能不能运行，看内存，内存只要够，区别只是快慢。现在8g内存才二三十块钱，两条就是16g内存，也就五六十块钱，插上就能跑。
不要被deepseekR1几万几百万人民币的硬件价格吓到，最小巧的1.5b已经很牛逼了。你去看看别的模型，参数还在几百M大有人在，零点几b而已，不到ds最小蒸馏模型的五分之一。所以最小蒸馏模型并不意味着它弱啊，他只是跟完整deepseek比才小。
像个宠物，给它一点问题，逗一逗它，多好。
需要注意的是：
用cmd运行代码的时候，第一ollama需要处于运行状态，第二，你大概率是不能用管理员权限下的cmd运行代码，因为ollama在个人文件夹里，所以不要以管理员权限运行cmd。
第二个难点，ollama.exe在哪儿，在这：
C:\Users\用户名\AppData\Local\Programs\Ollama
把用户名改为自己的用户名即可。
一般都会在开始菜单里生成快捷方式的。
第三个难点，如何把page assist图标放在浏览器上
第四，如果你要用chrome也行，这是page assist的插件链接: https://pan.baidu.com/s/1Bug9amFTcJo_6BPW0FKmsA?pwd=0000 提取码: 0000 复制这段内容后打开百度网盘手机App，操作更方便哦
需要解压成文件夹，然后在chrome的扩展程序里打开开发者模式，选择“加载已解压的扩展程序”就可以了。
egde浏览器不行。
有点当年在windows7贴吧手把手帮助萌新的感觉了捏
鄂公网安备 42068302000331号
温馨提示：本站所有内容均来自互联网，若有侵权请联系站长处理。联系邮箱：yangtata@vip.qq.com