在经历了十多年的云计算时代后，我们已经习惯了按使用量付费的计算模式。随着AI技术的兴起，这一循环模式再次上演。虽然AI服务目前看起来相对便宜，但这种情况可能不会持续太久。

基础AI模型即服务公司按Token收费，但它们目前处于亏损状态。利润迟早要实现，无论是直接从用户口袋里赚取，还是通过用户数据获利。在这种情况下，越来越多的人开始寻找其他获得AI益处的方式，而不必受制于大公司。

推动本地大语言模型普及的背后有一股文化转变力量，其中一部分源于对大型科技公司的不信任。皮尤研究中心发现，81%的美国人担心AI公司会滥用他们的数据。联邦贸易委员会认为有必要警告AI模型公司要履行其在客户数据方面的承诺。

OpenAI表示如果用户要求，它会"忘记"用户的聊天记录，但这并不意味着它会清除这些数据。事实上，它做不到。法院已下令该公司保留其聊天日志，作为其目前与《纽约时报》等出版物法律纠纷的一部分。

即使是那些最初专注于道德和隐私的公司也会屈服于市场动态。Anthropic在8月底将其数据保留规则从30天延长到5年，这距离它宣布为其AI模型增加记忆功能仅几天时间。它还开始使用用户数据训练其模型。虽然用户可以关闭此功能，但这些都是选择退出政策，而不是选择加入。

隐私论证还延伸到主权问题，特别是在美国放松AI监管的背景下。欧洲公司正在考虑制作自己的替代方案。例如，德国工程公司Makandra构建了自己的本地运行AI，以确保其使用符合GDPR规则。

倡导本地大语言模型的公司还将技术民主化视为驱动因素。"AI是人类有史以来最大的杠杆来源之一，"Jan项目的增长工程师兼负责人Emre Can Kartal说道，Jan是Menlo Research构建本地运行模型及其管理工具的项目。"我们的使命是确保它保持开放并掌握在人们手中，而不是集中在少数科技巨头那里。"

成本也是一个因素。以亏损状态销售计算能力的AI公司往往会限制用户使用频率。任何每月向基础模型供应商支付超过100美元却在AI驱动的编程马拉松中被切断服务的人都会理解这个问题。

美国数据中心到2030年将消耗该国9%以上的电力，根据研究公司EPRI的数据。许多数据中心使用蒸发冷却技术，消耗大量水资源。一般计算是每次对话约消耗半升水。

自己运行大语言模型的环境优势不在于训练的碳成本，而在于推理过程。如果你使用的是开源权重基础模型，训练已经完成。但你越多地将其用于本地推理，就越能产生环境影响。你的PC冷却可能使用的唯一液体是在封闭循环中，所以不会浪费水资源。

一般来说，你越多地使用生成式AI，本地模型就越有吸引力。那么你需要什么来有效运行它呢？很大程度上取决于你运行模型的精度，你可以使用大语言模型中的一个关键概念——量化来调整精度。

量化减少了从神经网络节点派生的权重值的精度。这减少了处理它们所需的存储和计算能力。你可以通过降低浮点数的精度来增加量化，甚至可能用纯整数值替换它们。

虽然量化会降低支撑生成式AI的基于神经网络算法的准确性，但这种影响并不显著。而且从中获得的功率/性能增益为在服务器机房、边缘设备或家庭中更易处理的系统上运行它开辟了可能性。

仅有硬件是不够的。如今，在各种设备上运行大语言模型之所以成为可能，是因为底层软件栈的发展。

"在我看来，ggml栈（例如llama.cpp和whisper.cpp）在使本地AI成为可能方面产生了最大的影响，"Georgi Gerganov说道。如果你现在在做任何客户端推理，他很可能负责其中至少一部分工作。Ggml是他的低级机器学习模型库，用于在不同类型的硬件上运行机器学习模型。

Ollama是运行自己大语言模型的最受欢迎的CLI平台之一，它是构建在llama.cpp之上的开发者层。它提供了200多个预配置大语言模型的单行安装，使大语言模型开发者能够轻松启动和运行自己的本地生成式AI。

似乎每个人都有适合的模型，基于他们的使用案例和硬件能力。像Llama和Mistral这样的通用模型提供从小到大的各种参数计数。Google Gemma 2缩减到20亿参数用于设备上工作。

还有专门用于特定任务的模型，例如编程，如Qwen 2.5 Coder 7B和DeepSeek Coder V2。一些模型可以变得非常具体。例如，我们听说像Mythomax这样的故事讲述大语言模型很适合角色扮演游戏。

问题是所有这些模型是否比在云中运行的重量级模型更好，或者它们是否需要如此。

AI公司Nomic的创始人Andriy Mulyar最初试图制作本地AI模型。他的公司开发了一个开源模型GPT4All，设计为本地运行。但他在向潜在客户销售基于此的服务时没有取得成功。

"对于个人和爱好者使用案例，它很棒。你可以获得价值。你可以写邮件。你可以演示编程，"他谈到本地大语言模型时说。但对他来说，就到此为止了。

有两个因素使云模型领先于本地模型。首先是规模。较大的模型总是更具通用智能。较小的模型往往专门化，通过微调和强化学习更快地适应你不断变化的需求。

检索增强生成（RAG）是另一个有用的工具。那些有特定兴趣的人为大语言模型构建自己的知识库，可以在狭义定义的领域产生令人印象深刻的结果。

保持基础云模型提供商领先的第二个因素是保密性。像OpenAI这样的公司严密保护其旗舰模型以保持市场领先地位。然而，这种领先优势是微小的。"质量差异正在迅速缩小，"Gerganov说。"今天，本地质量等于或优于一年前的云质量。它将继续改进。"

无论你是寻求私人系统来管理敏感工作的律师事务所，还是试图构建个人知识图谱的爱好者，你的本地大语言模型之旅都应该从将你的雄心与现实相匹配开始。从明确的使用案例开始，在这些案例中，你的隐私、成本和性能需求证明本地部署是合理的。选择适合你技术专业水平的适当工具，并使用与你的硬件配置匹配的通用模型。

A：主要原因包括：对大型科技公司数据滥用的担忧（81%的美国人担心此问题）、成本考虑（避免云服务的使用限制和持续费用）、环境影响（减少数据中心的电力和水资源消耗）以及技术主权需求（如欧洲公司为符合GDPR规则而选择本地部署）。

A：硬件需求主要取决于模型精度。按照半精度（16位）计算，每十亿参数需要约2GB显存。可以通过增加显存（如Nvidia RTX 5090 GPU有32GB显存）或提高量化程度来支持更多参数。二手企业级硬件如Quadro RTX卡在显存性价比上往往优于新消费级GPU，M2 MacBook Pro的24GB统一内存也能很好运行200亿以上参数的模型。

A：目前云端大型模型在通用智能方面仍有优势，但差距正在快速缩小。本地模型在特定领域通过检索增强生成（RAG）和专业化调优可以产生出色结果。虽然本地模型需要更精确的提示和上下文管理，但今天的本地模型质量已经等于或超过一年前的云端模型质量，且还在持续改进。

朝鲜播出金正恩出席九三阅兵纪录片

「活动」kumawubiaotitest

7.71MB

版本V3.864.38

下载APK 高速下载

下载扒开老师内衣❌❌照片安装你想要的应用更方便更快捷发现更多

51%好评(3人)

详细信息

软件大小: 8.85MB
最后更新: 2025/09/08 13:32:45
最新版本: V6.0.7
文件格式: apk
应用分类:ios-Android 成人免费A片❌❌❌喷在线观看
使用语言: 中文
: 需要联网
系统要求: 5.8以上

应用介绍

一，元龙高瑶被❌羞羞网站，动漫被❌到爽🔞流网站原神
二，纲手办公室被❌无删减黄漫，雏田疯狂❌喷水自慰
三，sm调教圈论坛⭕投稿，国产熟妇XX❌❌❌小电
四，车上做爰高潮狂起，动漫被❌到爽🔞触手
五，女同❌裸乳❌3d在线观看，18🈲又大又黄
六，国产女男无套✅免费,日本被❌视频网站new，榴莲视频成人app❤免费
七，男男动漫yaoi♂漫画入口
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.5.17

老太婆卖婬BBBB欧美版

国产福利姬小青茗在线观看

把🍌伸进女人的🍑嗟嗟嗟视频

5.56MB

101好评

91在线无码精品㊙️腹肌
JXX.CC

🔞吃奶摸下激烈文字

2.80MB

41好评

脱👙给我揉🐻
看老女人裸体性做爰

中国老女人❌❌❌❌❌

13.55MB

316好评

❤国产嫩草影院❤沈娜娜
精品蜜桃㊙️一区二区三区观看

元龙美女被㊙️旳网站

53.29MB

275好评

中国肥熟女❌
小🐥手戳进🍑🍑视频

女人裸体㊙️免费视频

71.75MB

700好评

西门庆一级黄色日BB大片
4388❌全国最大色情网

丝袜老师扒开让我❌

83.00MB

330好评

3D动漫美女被❌羞羞蓝莓视频
女玩弄男jiji㊙️视频

动漫学生裸体被❌歪歪漫画

23.43MB

100好评

我用🍆蹭同桌的🐻作文
原神闲云裸体被❌黄漫视频

动漫美女隐私㊙️脱裤子

50.18MB

925好评

XXXXXXX泡妞🍆🍑网站视频
国产精品视频㊙️A9入口

男男之间爆乳🔞

83.79MB

569好评

俄罗斯寡妇婬乱生活
被狂揉下部❌羞羞动本子

男人被女人添👅出来高潮

83.60MB

759好评

莱欧斯利裸体❌开腿小说
扌喿辶畐的资料网站

暴躁少女免费版播放时间多久

32.20MB

629好评

国产裸体美女开腿被❌高清
女初高中拍击♥网站╳

FerrPorno💋👙3k

26.44MB

273好评

卡戴珊被啪❌21分钟图
徐冬冬裸乳被爆❌白浆

成人🔞AV精

65.82MB

747好评

王昭君被❌18🈲️在线观看
被❌小胸羞羞奶头嗯啊学生

国产精品⭕️❌❌

54.72MB

758好评

体育生洗澡隐私㊙️
欧洲美女❌高清视频

女被❌到爽🔞流热舞

57.32MB

684好评

成人扒开🍑伸进🍌火影忍者
男人🍌伸进去里做运动国产

白丝女仆疯狂❌喷水自慰

24.09MB

355好评

女被c🐻扒衣服视频
云缨被啪❌羞羞漫画全免

美女被❌❌❌爆乳无尽自己草自己

13.40MB

311好评

吹雪被爆❌羞羞漫画网站
美国美女露出❌❌部位

同桌脱👙让我玩小说

84.57MB

215好评

西迪强行被❌吸乳羞羞小说
女人A级毛片19毛水真多

老师让我❌她喷出来了好爽动漫

45.54MB

738好评

日本妞㊙️裸体坐脸上放屁
女♀黄张婉莹放尿自慰

欧美❌❌❌hd

10.83MB

189好评

寫真男同🌈GV藍男色
C0M🍆?

龙卷被扒开腿做❌视频

44.67MB

361好评

约尔同人18❌AV黄漫
男女被❌得流白浆翻白

免費看黃色人獸打炮片

91.42MB

208好评

女仆跪下露出🍑
火舞cos被❌出白酱

孩娇小XXXX摘花过程

30.67MB

908好评

狠狠挺进鞠婧祎的小泬小说
鱼鱼至滑的脚lvk

白鹿被扒开腿吸乳❌33a

30.58MB

543好评

貂蝉被爆❌十八禁
日本老师小便㊙️喂尿

91秘片黄在线观看AI明星

29.96MB

120好评

动漫美女被❌到爽🔞网站入口
日本❌❌❌❌❌色情40

裸体美女被❌❌AI明星换脸软件

70.10MB

459好评

小黄鸭18❤免费观看❤
91丨牛牛丨国产人妻❤ title="成人做爰黄A片免费看直播室动漫免费" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

女学生喷浆❌❌❌男打屁股网站

小樱裸乳被爆❌白浆的视频

详情
男女❌❌❌超爽很痛动漫蘑菇 title="日本一级按摩🎈片" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

XXXXⅩ性公交XXXXX

❌❌oo熟女HD

详情
裸乳被爆❌白浆的动漫 title="美女露出🐻让男子弹" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

美女❌得爽叫男女得更猛

高H繁交NP双龙m共妻电影

详情