在经历了十多年的云计算时代后，我们已经习惯了按使用量付费的计算模式。随着AI技术的兴起，这一循环模式再次上演。虽然AI服务目前看起来相对便宜，但这种情况可能不会持续太久。

基础AI模型即服务公司按Token收费，但它们目前处于亏损状态。利润迟早要实现，无论是直接从用户口袋里赚取，还是通过用户数据获利。在这种情况下，越来越多的人开始寻找其他获得AI益处的方式，而不必受制于大公司。

推动本地大语言模型普及的背后有一股文化转变力量，其中一部分源于对大型科技公司的不信任。皮尤研究中心发现，81%的美国人担心AI公司会滥用他们的数据。联邦贸易委员会认为有必要警告AI模型公司要履行其在客户数据方面的承诺。

OpenAI表示如果用户要求，它会"忘记"用户的聊天记录，但这并不意味着它会清除这些数据。事实上，它做不到。法院已下令该公司保留其聊天日志，作为其目前与《纽约时报》等出版物法律纠纷的一部分。

即使是那些最初专注于道德和隐私的公司也会屈服于市场动态。Anthropic在8月底将其数据保留规则从30天延长到5年，这距离它宣布为其AI模型增加记忆功能仅几天时间。它还开始使用用户数据训练其模型。虽然用户可以关闭此功能，但这些都是选择退出政策，而不是选择加入。

隐私论证还延伸到主权问题，特别是在美国放松AI监管的背景下。欧洲公司正在考虑制作自己的替代方案。例如，德国工程公司Makandra构建了自己的本地运行AI，以确保其使用符合GDPR规则。

倡导本地大语言模型的公司还将技术民主化视为驱动因素。"AI是人类有史以来最大的杠杆来源之一，"Jan项目的增长工程师兼负责人Emre Can Kartal说道，Jan是Menlo Research构建本地运行模型及其管理工具的项目。"我们的使命是确保它保持开放并掌握在人们手中，而不是集中在少数科技巨头那里。"

成本也是一个因素。以亏损状态销售计算能力的AI公司往往会限制用户使用频率。任何每月向基础模型供应商支付超过100美元却在AI驱动的编程马拉松中被切断服务的人都会理解这个问题。

美国数据中心到2030年将消耗该国9%以上的电力，根据研究公司EPRI的数据。许多数据中心使用蒸发冷却技术，消耗大量水资源。一般计算是每次对话约消耗半升水。

自己运行大语言模型的环境优势不在于训练的碳成本，而在于推理过程。如果你使用的是开源权重基础模型，训练已经完成。但你越多地将其用于本地推理，就越能产生环境影响。你的PC冷却可能使用的唯一液体是在封闭循环中，所以不会浪费水资源。

一般来说，你越多地使用生成式AI，本地模型就越有吸引力。那么你需要什么来有效运行它呢？很大程度上取决于你运行模型的精度，你可以使用大语言模型中的一个关键概念——量化来调整精度。

量化减少了从神经网络节点派生的权重值的精度。这减少了处理它们所需的存储和计算能力。你可以通过降低浮点数的精度来增加量化，甚至可能用纯整数值替换它们。

虽然量化会降低支撑生成式AI的基于神经网络算法的准确性，但这种影响并不显著。而且从中获得的功率/性能增益为在服务器机房、边缘设备或家庭中更易处理的系统上运行它开辟了可能性。

仅有硬件是不够的。如今，在各种设备上运行大语言模型之所以成为可能，是因为底层软件栈的发展。

"在我看来，ggml栈（例如llama.cpp和whisper.cpp）在使本地AI成为可能方面产生了最大的影响，"Georgi Gerganov说道。如果你现在在做任何客户端推理，他很可能负责其中至少一部分工作。Ggml是他的低级机器学习模型库，用于在不同类型的硬件上运行机器学习模型。

Ollama是运行自己大语言模型的最受欢迎的CLI平台之一，它是构建在llama.cpp之上的开发者层。它提供了200多个预配置大语言模型的单行安装，使大语言模型开发者能够轻松启动和运行自己的本地生成式AI。

似乎每个人都有适合的模型，基于他们的使用案例和硬件能力。像Llama和Mistral这样的通用模型提供从小到大的各种参数计数。Google Gemma 2缩减到20亿参数用于设备上工作。

还有专门用于特定任务的模型，例如编程，如Qwen 2.5 Coder 7B和DeepSeek Coder V2。一些模型可以变得非常具体。例如，我们听说像Mythomax这样的故事讲述大语言模型很适合角色扮演游戏。

问题是所有这些模型是否比在云中运行的重量级模型更好，或者它们是否需要如此。

AI公司Nomic的创始人Andriy Mulyar最初试图制作本地AI模型。他的公司开发了一个开源模型GPT4All，设计为本地运行。但他在向潜在客户销售基于此的服务时没有取得成功。

"对于个人和爱好者使用案例，它很棒。你可以获得价值。你可以写邮件。你可以演示编程，"他谈到本地大语言模型时说。但对他来说，就到此为止了。

有两个因素使云模型领先于本地模型。首先是规模。较大的模型总是更具通用智能。较小的模型往往专门化，通过微调和强化学习更快地适应你不断变化的需求。

检索增强生成（RAG）是另一个有用的工具。那些有特定兴趣的人为大语言模型构建自己的知识库，可以在狭义定义的领域产生令人印象深刻的结果。

保持基础云模型提供商领先的第二个因素是保密性。像OpenAI这样的公司严密保护其旗舰模型以保持市场领先地位。然而，这种领先优势是微小的。"质量差异正在迅速缩小，"Gerganov说。"今天，本地质量等于或优于一年前的云质量。它将继续改进。"

无论你是寻求私人系统来管理敏感工作的律师事务所，还是试图构建个人知识图谱的爱好者，你的本地大语言模型之旅都应该从将你的雄心与现实相匹配开始。从明确的使用案例开始，在这些案例中，你的隐私、成本和性能需求证明本地部署是合理的。选择适合你技术专业水平的适当工具，并使用与你的硬件配置匹配的通用模型。

A：主要原因包括：对大型科技公司数据滥用的担忧（81%的美国人担心此问题）、成本考虑（避免云服务的使用限制和持续费用）、环境影响（减少数据中心的电力和水资源消耗）以及技术主权需求（如欧洲公司为符合GDPR规则而选择本地部署）。

A：硬件需求主要取决于模型精度。按照半精度（16位）计算，每十亿参数需要约2GB显存。可以通过增加显存（如Nvidia RTX 5090 GPU有32GB显存）或提高量化程度来支持更多参数。二手企业级硬件如Quadro RTX卡在显存性价比上往往优于新消费级GPU，M2 MacBook Pro的24GB统一内存也能很好运行200亿以上参数的模型。

A：目前云端大型模型在通用智能方面仍有优势，但差距正在快速缩小。本地模型在特定领域通过检索增强生成（RAG）和专业化调优可以产生出色结果。虽然本地模型需要更精确的提示和上下文管理，但今天的本地模型质量已经等于或超过一年前的云端模型质量，且还在持续改进。

被卡通版孙颖莎萌化了

「活动」kumawubiaotitest

0.71MB

版本V3.689.38

下载APK 高速下载

下载中国人和俄罗斯黄片安装你想要的应用更方便更快捷发现更多

51%好评(51人)

详细信息

软件大小: 407.9MB
最后更新: 2025/09/07 01:55:30
最新版本: V6.7.7
文件格式: apk
应用分类:ios-Android 免费A片吃奶玩乳视自慰动漫
使用语言: 中文
: 需要联网
系统要求: 5.746以上

应用介绍

一，成人免费❌❌❌视频，把小🐥🐥放进女人的🍑学生
二，国外色情直播❌❌❌，嗯～啊～快点🌿死我韩漫无码
三，免费高清🔞在线观看，18禁🍆🍑动漫
四，胡桃疯狂❌喷水自慰爽软件，原神夜兰被爆❌自慰爽
五，男女又爽❌又黄❌的漫画，女人和男人❌❌视频
六，青楼传媒㊙️成年免费网站,免费裸体打屁屁❌羞羞免费动漫，桃花岛视频黄app♥入口
七，男人香蕉进🍑
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.5.17

日韩🈚️码波多野结衣刘亦菲

美国色情毛片AAAAAA片喷水

免费➕无码日本动漫

88.78MB

109好评

❌❌❌❌HDvideo
偷窥XxXⅩHD分娩XXXX视频

❤国产精品海角社区老吴

00.13MB

1870好评

自慰✔️免费网站
欧美丰满熟妇性猛交

又嫩又紧小泬www入口

13.25MB

317好评

斯嘉丽裸被❌视频无吗
芋圆呀呀私人订制黑桃天花板

永久免费🔞🔞🔞未满:

53.19MB

273好评

黄片网站破解版下载
FC2PPV初撮り♥完全颜出

欧美黑人🈲🈲🈲大片APP

71.86MB

704好评

女性无套✅免费网站在线看软件
纲手❌❌❌爆🈲🔞

吕小鱼裸乳被爆❌白浆的

83.44MB

339好评

男男之间爆乳🔞
老师撩起胸把我的🍌蹭来蹭去车

老挝肥老妇人p

23.84MB

107好评

女人BBBBBBHD
宁荣荣被❌羞羞动漫进入

狠狠综合🈲️18少妇高潮

50.86MB

929好评

千仞雪3D同人18❌羞羞
㊙️视频网站纸巾

扒女教师的内衣❌❌

83.25MB

564好评

动漫同人18网站
免费同性女一级A片

Uncensored✅JAV

83.30MB

750好评

免费➕无码➕无套fy
12的隐私㊙️视频

原甘w裸体❌开腿网站

32.67MB

624好评

tubeHD18❌❌❌在线看
崩坏三同人18❌黄网站游戏1

高清乱码❌看片视频在线观看

26.79MB

272好评

免费🔞成人❌❌❌男女
班长❌开腿让我爽一夜动漫无码

同性男男黄Gary片免费有腹肌

65.61MB

749好评

扒开裙子美女❌狂揉❌老师
成人18🈲免费观看的动漫

久久毛片www.17c.com

54.60MB

758好评

日本wwwcoc官网入口
真人做爰A片免费观看茄子视频直播

91成人🔞在线观看喷潮软件

57.60MB

684好评

白丝❌裸体❌自慰网站
女警脱👙给我揉🐻动

偷窥pooping网站㊙️

24.58MB

357好评

少一女一性一交一黄
护士裸体㊙️无遮挡偷拍-百度

雏田被揉❌难受❌3d动漫

13.99MB

316好评

天海つばさ大亂交在线观看
黄片网站破解版下载

动漫得到钻漫画动画

84.81MB

218好评

女警脱👙给我揉🐻疯狂榨精
高清偷拍女厕撒尿㊙️

青雀裸体被❌图片

45.49MB

737好评

女性扒开👙看个够挠痒作文
禁漫天♥堂comic蝴蝶忍

撕开👙吸奶头🍌进🍑免费

10.53MB

184好评

👙mofos👙
已满十八岁免费观看电视剧的软件有

巨胸动漫美女被爆❌羞羞视频

44.61MB

368好评

❌纳西妲腿法熟练脚法❌
大胸美女脱㊙️露小奶头动漫

德国熟妇性VideO极品

91.24MB

204好评

孕妇做爰XXXX呻吟
德国老太婆性交影视

男人和女人㊙️免费视频

30.80MB

907好评

亚洲A片无码2019VVV∨
扒开美女疯狂揉❌孕动视频

裸体网站入口下载

30.70MB

546好评

安吉丽娜朱莉被❌视频无码
朵莉亚裸乳被爆❌白浆贴吧

XXNHDسىكىش

29.36MB

122好评

班长撩起🐻让我的🍌蹭来蹭去
❌18禁同人本无码原神

探花视频18♥免费观看♥

70.04MB

459好评

扒开❌狂揉❌羞羞欧美3D动漫
美女爽❌又黄❌视频 title="♎热心的朝阳群众51cgfun最新视频" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

寄宿日记㊙️无删减软件

3D动漫yaoi❤♂video

详情
特级婬片裸体免费看视频 title="欧州人做爱视频MV" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

蝴蝶忍被❌到爽羞羞小说

日本最大色倩网站

详情
嘿料➕无码➕动漫 title="朱竹清被狂揉下部❌羞羞图片" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

火影纲手被爆❌x

XXXX48🍆🍆HL

详情