在经历了十多年的云计算时代后，我们已经习惯了按使用量付费的计算模式。随着AI技术的兴起，这一循环模式再次上演。虽然AI服务目前看起来相对便宜，但这种情况可能不会持续太久。

基础AI模型即服务公司按Token收费，但它们目前处于亏损状态。利润迟早要实现，无论是直接从用户口袋里赚取，还是通过用户数据获利。在这种情况下，越来越多的人开始寻找其他获得AI益处的方式，而不必受制于大公司。

推动本地大语言模型普及的背后有一股文化转变力量，其中一部分源于对大型科技公司的不信任。皮尤研究中心发现，81%的美国人担心AI公司会滥用他们的数据。联邦贸易委员会认为有必要警告AI模型公司要履行其在客户数据方面的承诺。

OpenAI表示如果用户要求，它会"忘记"用户的聊天记录，但这并不意味着它会清除这些数据。事实上，它做不到。法院已下令该公司保留其聊天日志，作为其目前与《纽约时报》等出版物法律纠纷的一部分。

即使是那些最初专注于道德和隐私的公司也会屈服于市场动态。Anthropic在8月底将其数据保留规则从30天延长到5年，这距离它宣布为其AI模型增加记忆功能仅几天时间。它还开始使用用户数据训练其模型。虽然用户可以关闭此功能，但这些都是选择退出政策，而不是选择加入。

隐私论证还延伸到主权问题，特别是在美国放松AI监管的背景下。欧洲公司正在考虑制作自己的替代方案。例如，德国工程公司Makandra构建了自己的本地运行AI，以确保其使用符合GDPR规则。

倡导本地大语言模型的公司还将技术民主化视为驱动因素。"AI是人类有史以来最大的杠杆来源之一，"Jan项目的增长工程师兼负责人Emre Can Kartal说道，Jan是Menlo Research构建本地运行模型及其管理工具的项目。"我们的使命是确保它保持开放并掌握在人们手中，而不是集中在少数科技巨头那里。"

成本也是一个因素。以亏损状态销售计算能力的AI公司往往会限制用户使用频率。任何每月向基础模型供应商支付超过100美元却在AI驱动的编程马拉松中被切断服务的人都会理解这个问题。

美国数据中心到2030年将消耗该国9%以上的电力，根据研究公司EPRI的数据。许多数据中心使用蒸发冷却技术，消耗大量水资源。一般计算是每次对话约消耗半升水。

自己运行大语言模型的环境优势不在于训练的碳成本，而在于推理过程。如果你使用的是开源权重基础模型，训练已经完成。但你越多地将其用于本地推理，就越能产生环境影响。你的PC冷却可能使用的唯一液体是在封闭循环中，所以不会浪费水资源。

一般来说，你越多地使用生成式AI，本地模型就越有吸引力。那么你需要什么来有效运行它呢？很大程度上取决于你运行模型的精度，你可以使用大语言模型中的一个关键概念——量化来调整精度。

量化减少了从神经网络节点派生的权重值的精度。这减少了处理它们所需的存储和计算能力。你可以通过降低浮点数的精度来增加量化，甚至可能用纯整数值替换它们。

虽然量化会降低支撑生成式AI的基于神经网络算法的准确性，但这种影响并不显著。而且从中获得的功率/性能增益为在服务器机房、边缘设备或家庭中更易处理的系统上运行它开辟了可能性。

仅有硬件是不够的。如今，在各种设备上运行大语言模型之所以成为可能，是因为底层软件栈的发展。

"在我看来，ggml栈（例如llama.cpp和whisper.cpp）在使本地AI成为可能方面产生了最大的影响，"Georgi Gerganov说道。如果你现在在做任何客户端推理，他很可能负责其中至少一部分工作。Ggml是他的低级机器学习模型库，用于在不同类型的硬件上运行机器学习模型。

Ollama是运行自己大语言模型的最受欢迎的CLI平台之一，它是构建在llama.cpp之上的开发者层。它提供了200多个预配置大语言模型的单行安装，使大语言模型开发者能够轻松启动和运行自己的本地生成式AI。

似乎每个人都有适合的模型，基于他们的使用案例和硬件能力。像Llama和Mistral这样的通用模型提供从小到大的各种参数计数。Google Gemma 2缩减到20亿参数用于设备上工作。

还有专门用于特定任务的模型，例如编程，如Qwen 2.5 Coder 7B和DeepSeek Coder V2。一些模型可以变得非常具体。例如，我们听说像Mythomax这样的故事讲述大语言模型很适合角色扮演游戏。

问题是所有这些模型是否比在云中运行的重量级模型更好，或者它们是否需要如此。

AI公司Nomic的创始人Andriy Mulyar最初试图制作本地AI模型。他的公司开发了一个开源模型GPT4All，设计为本地运行。但他在向潜在客户销售基于此的服务时没有取得成功。

"对于个人和爱好者使用案例，它很棒。你可以获得价值。你可以写邮件。你可以演示编程，"他谈到本地大语言模型时说。但对他来说，就到此为止了。

有两个因素使云模型领先于本地模型。首先是规模。较大的模型总是更具通用智能。较小的模型往往专门化，通过微调和强化学习更快地适应你不断变化的需求。

检索增强生成（RAG）是另一个有用的工具。那些有特定兴趣的人为大语言模型构建自己的知识库，可以在狭义定义的领域产生令人印象深刻的结果。

保持基础云模型提供商领先的第二个因素是保密性。像OpenAI这样的公司严密保护其旗舰模型以保持市场领先地位。然而，这种领先优势是微小的。"质量差异正在迅速缩小，"Gerganov说。"今天，本地质量等于或优于一年前的云质量。它将继续改进。"

无论你是寻求私人系统来管理敏感工作的律师事务所，还是试图构建个人知识图谱的爱好者，你的本地大语言模型之旅都应该从将你的雄心与现实相匹配开始。从明确的使用案例开始，在这些案例中，你的隐私、成本和性能需求证明本地部署是合理的。选择适合你技术专业水平的适当工具，并使用与你的硬件配置匹配的通用模型。

A：主要原因包括：对大型科技公司数据滥用的担忧（81%的美国人担心此问题）、成本考虑（避免云服务的使用限制和持续费用）、环境影响（减少数据中心的电力和水资源消耗）以及技术主权需求（如欧洲公司为符合GDPR规则而选择本地部署）。

A：硬件需求主要取决于模型精度。按照半精度（16位）计算，每十亿参数需要约2GB显存。可以通过增加显存（如Nvidia RTX 5090 GPU有32GB显存）或提高量化程度来支持更多参数。二手企业级硬件如Quadro RTX卡在显存性价比上往往优于新消费级GPU，M2 MacBook Pro的24GB统一内存也能很好运行200亿以上参数的模型。

A：目前云端大型模型在通用智能方面仍有优势，但差距正在快速缩小。本地模型在特定领域通过检索增强生成（RAG）和专业化调优可以产生出色结果。虽然本地模型需要更精确的提示和上下文管理，但今天的本地模型质量已经等于或超过一年前的云端模型质量，且还在持续改进。

让林一戴臂环的人真的好事做尽

「活动」kumawubiaotitest

03.71MB

版本V3.217.38

下载APK 高速下载

下载玖辛奈裸体被❌免费羞羞游戏安装你想要的应用更方便更快捷发现更多

51%好评(856人)

详细信息

软件大小: 88.25MB
最后更新: 2025/09/07 02:13:26
最新版本: V6.500.7
文件格式: apk
应用分类:ios-Android 老熟女bby
使用语言: 中文
: 需要联网
系统要求: 5.63以上

应用介绍

一，日本动漫❌❌吸乳免费看，91在线无码精品㊙️松鼠
二，裸乳被爆❌白浆在线观看，http://www.77788.gov.cn
三，把白丝美女🌸吊起来揉搓污文-百度，老师脱👙让学生摸🐻欧美视频
四，国漫同人18🈲3D动漫，男人互摸jiji㊙️隐私小说
五，玛奇玛被❌最污网站，h片下载大全
六，美女啊湿润啊❌动漫,校花❌开腿让我爽了一夜的小说，外国妞和黑人做爱视频
七，动漫3D❌吸乳羞漫画网站
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.5.17

美国色情毛片AAAAAA片

春野樱被❌爽到本子

男c男🔞黄㊙️❌蓝莓视频

6.47MB

105好评

少萝裸体🔞🔞🔞网站春九玄
亚洲无🈚码A片在线观看麻豆

性中国❌❌潮喷水口乱喷

56.54MB

2659好评

啊⋯教官～⋯轻点⋯奶头捏扁了
♥Bl肉免费网站

鸣人❌小南裸乳无码黄油

13.64MB

319好评

91|国产|白浆㊙喷水kuaibo
动漫www.被爆❌羞羞AV44

他难耐的低喘H

53.12MB

275好评

AV蜜桃秘密㊙️入口
91成人🔞在线观看潮喷

🍌伸进女人的🍑网站

71.52MB

702好评

动漫美女做🔞❌❌❌下载
老热老女人HD

XX❌X69C0m日本

83.84MB

336好评

91在线无码精品㊙️国产阿朱-百度
特级牲交片

德国艳妇fr复古经典xXxX

23.11MB

106好评

肉丝祙做爰少妇小说
87在线无码精品㊙️入口楼风

成人🔞日本A片无码

50.25MB

929好评

免费黄😍网站
雏田爆乳被❌🔞黄漫画

女被❌c🐻黄扒衣服好爽免费

83.81MB

561好评

丝袜老师踩我🐔出精
老师脱👙让学生WWW345

赵露思裸被❌高清视频

83.33MB

752好评

JIZZ中国ZZ女人18
眼镜女扒开腿㊙️让男人

91丨九色丨单男丨网曝门

32.63MB

624好评

裸体女A片一区二区视频
明星❌巨大❌房乳头

纲手巨胸被❌❌爆乳

26.00MB

271好评

美女被❌❌高潮出白浆
3D❌❌❌啪啪嫩草

动漫❌❌爆乳❌❌动漫原神技女水

65.78MB

749好评

胡桃❌喷水自慰喷水爽影片
裸体裸乳被🍑亚洲

ryⅠsKyaγt自慰video

54.76MB

758好评

阳茎伸入女人下面图片
日本🔞无遮挡裸打屁屁

美女的隐私㊙️免费网站

57.39MB

684好评

国漫美女裸体❌❌动漫
伽罗被❌娇喘流白色液

久久久久久久久免费看无码

24.17MB

354好评

13禁🍆🍑🔞❌❌❌有风险
陆雪琪被扒开腿狂❌

红缨张开双腿被强❌

13.72MB

319好评

爽⋯躁多水⋯快⋯进不去了
美女的隐私❌无遮挡图片

哈里斯裸爱被❌视频无码

84.30MB

216好评

巨乳❌拔萝卜❌自慰电影-百度
老师脱👙让学生摸🐻桃子网站

ceкес中国видео⚡️

45.63MB

731好评

小太正Gay初精❌❌动漫
cf灵狐去衣内裸露🔞

美女被❌到爽🔞噜噜噜

10.22MB

184好评

八重神子爆乳潮喷❌❌网站
美女憋尿灌水㊙️网站

免费看美女裸体🔞🔞🔞动漫

44.86MB

360好评

美女扒开胸罩👙给男生吃小说
精品国产乱码久久久久久婷婷

🔞🍌进去里❌❌❌蓝

91.10MB

200好评

❤国产精品嫩草33AV在线
无码91在线精品㊙️一区二区

美女隐私㊙️91

30.64MB

901好评

XXⅩX內射德国老太太
女人屁股眼㊙️免费看

美女隐私㊙️黄www老师

30.83MB

542好评

中国女女❌互慰吃奶互揉的视频
国产婬妇❌❌❌❌❌触手

❤️国产嫩草影院久久久

29.33MB

127好评

免费无遮挡🔞直播网站酒店
成人做爰A片免费看网站找不到了

超污18🈲P站网址

70.34MB

451好评

西施被❌到爽爆高潮痉挛
粉嫩虎白女白嫩白紧窄 title="周冬雨裸被❌视频无吗" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

我半夜摸偷偷妺妺下面好爽

莫妮卡裸被❌

详情
爽⋯躁多水⋯快⋯深点触手漫画 title="鞠婧祎同人18❌AV黄漫网站" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

亚洲人掀裙掀尿㊙️

欧美破处XXXX

详情
永久免费🔞🔞🔞未视频 title="成人免费无码无遮挡黄漫视频" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

日本❌❌❌❌❌色情肛门交

校🌸被❌娇喘出奶小说

详情