在经历了十多年的云计算时代后，我们已经习惯了按使用量付费的计算模式。随着AI技术的兴起，这一循环模式再次上演。虽然AI服务目前看起来相对便宜，但这种情况可能不会持续太久。

基础AI模型即服务公司按Token收费，但它们目前处于亏损状态。利润迟早要实现，无论是直接从用户口袋里赚取，还是通过用户数据获利。在这种情况下，越来越多的人开始寻找其他获得AI益处的方式，而不必受制于大公司。

推动本地大语言模型普及的背后有一股文化转变力量，其中一部分源于对大型科技公司的不信任。皮尤研究中心发现，81%的美国人担心AI公司会滥用他们的数据。联邦贸易委员会认为有必要警告AI模型公司要履行其在客户数据方面的承诺。

OpenAI表示如果用户要求，它会"忘记"用户的聊天记录，但这并不意味着它会清除这些数据。事实上，它做不到。法院已下令该公司保留其聊天日志，作为其目前与《纽约时报》等出版物法律纠纷的一部分。

即使是那些最初专注于道德和隐私的公司也会屈服于市场动态。Anthropic在8月底将其数据保留规则从30天延长到5年，这距离它宣布为其AI模型增加记忆功能仅几天时间。它还开始使用用户数据训练其模型。虽然用户可以关闭此功能，但这些都是选择退出政策，而不是选择加入。

隐私论证还延伸到主权问题，特别是在美国放松AI监管的背景下。欧洲公司正在考虑制作自己的替代方案。例如，德国工程公司Makandra构建了自己的本地运行AI，以确保其使用符合GDPR规则。

倡导本地大语言模型的公司还将技术民主化视为驱动因素。"AI是人类有史以来最大的杠杆来源之一，"Jan项目的增长工程师兼负责人Emre Can Kartal说道，Jan是Menlo Research构建本地运行模型及其管理工具的项目。"我们的使命是确保它保持开放并掌握在人们手中，而不是集中在少数科技巨头那里。"

成本也是一个因素。以亏损状态销售计算能力的AI公司往往会限制用户使用频率。任何每月向基础模型供应商支付超过100美元却在AI驱动的编程马拉松中被切断服务的人都会理解这个问题。

美国数据中心到2030年将消耗该国9%以上的电力，根据研究公司EPRI的数据。许多数据中心使用蒸发冷却技术，消耗大量水资源。一般计算是每次对话约消耗半升水。

自己运行大语言模型的环境优势不在于训练的碳成本，而在于推理过程。如果你使用的是开源权重基础模型，训练已经完成。但你越多地将其用于本地推理，就越能产生环境影响。你的PC冷却可能使用的唯一液体是在封闭循环中，所以不会浪费水资源。

一般来说，你越多地使用生成式AI，本地模型就越有吸引力。那么你需要什么来有效运行它呢？很大程度上取决于你运行模型的精度，你可以使用大语言模型中的一个关键概念——量化来调整精度。

量化减少了从神经网络节点派生的权重值的精度。这减少了处理它们所需的存储和计算能力。你可以通过降低浮点数的精度来增加量化，甚至可能用纯整数值替换它们。

虽然量化会降低支撑生成式AI的基于神经网络算法的准确性，但这种影响并不显著。而且从中获得的功率/性能增益为在服务器机房、边缘设备或家庭中更易处理的系统上运行它开辟了可能性。

仅有硬件是不够的。如今，在各种设备上运行大语言模型之所以成为可能，是因为底层软件栈的发展。

"在我看来，ggml栈（例如llama.cpp和whisper.cpp）在使本地AI成为可能方面产生了最大的影响，"Georgi Gerganov说道。如果你现在在做任何客户端推理，他很可能负责其中至少一部分工作。Ggml是他的低级机器学习模型库，用于在不同类型的硬件上运行机器学习模型。

Ollama是运行自己大语言模型的最受欢迎的CLI平台之一，它是构建在llama.cpp之上的开发者层。它提供了200多个预配置大语言模型的单行安装，使大语言模型开发者能够轻松启动和运行自己的本地生成式AI。

似乎每个人都有适合的模型，基于他们的使用案例和硬件能力。像Llama和Mistral这样的通用模型提供从小到大的各种参数计数。Google Gemma 2缩减到20亿参数用于设备上工作。

还有专门用于特定任务的模型，例如编程，如Qwen 2.5 Coder 7B和DeepSeek Coder V2。一些模型可以变得非常具体。例如，我们听说像Mythomax这样的故事讲述大语言模型很适合角色扮演游戏。

问题是所有这些模型是否比在云中运行的重量级模型更好，或者它们是否需要如此。

AI公司Nomic的创始人Andriy Mulyar最初试图制作本地AI模型。他的公司开发了一个开源模型GPT4All，设计为本地运行。但他在向潜在客户销售基于此的服务时没有取得成功。

"对于个人和爱好者使用案例，它很棒。你可以获得价值。你可以写邮件。你可以演示编程，"他谈到本地大语言模型时说。但对他来说，就到此为止了。

有两个因素使云模型领先于本地模型。首先是规模。较大的模型总是更具通用智能。较小的模型往往专门化，通过微调和强化学习更快地适应你不断变化的需求。

检索增强生成（RAG）是另一个有用的工具。那些有特定兴趣的人为大语言模型构建自己的知识库，可以在狭义定义的领域产生令人印象深刻的结果。

保持基础云模型提供商领先的第二个因素是保密性。像OpenAI这样的公司严密保护其旗舰模型以保持市场领先地位。然而，这种领先优势是微小的。"质量差异正在迅速缩小，"Gerganov说。"今天，本地质量等于或优于一年前的云质量。它将继续改进。"

无论你是寻求私人系统来管理敏感工作的律师事务所，还是试图构建个人知识图谱的爱好者，你的本地大语言模型之旅都应该从将你的雄心与现实相匹配开始。从明确的使用案例开始，在这些案例中，你的隐私、成本和性能需求证明本地部署是合理的。选择适合你技术专业水平的适当工具，并使用与你的硬件配置匹配的通用模型。

A：主要原因包括：对大型科技公司数据滥用的担忧（81%的美国人担心此问题）、成本考虑（避免云服务的使用限制和持续费用）、环境影响（减少数据中心的电力和水资源消耗）以及技术主权需求（如欧洲公司为符合GDPR规则而选择本地部署）。

A：硬件需求主要取决于模型精度。按照半精度（16位）计算，每十亿参数需要约2GB显存。可以通过增加显存（如Nvidia RTX 5090 GPU有32GB显存）或提高量化程度来支持更多参数。二手企业级硬件如Quadro RTX卡在显存性价比上往往优于新消费级GPU，M2 MacBook Pro的24GB统一内存也能很好运行200亿以上参数的模型。

A：目前云端大型模型在通用智能方面仍有优势，但差距正在快速缩小。本地模型在特定领域通过检索增强生成（RAG）和专业化调优可以产生出色结果。虽然本地模型需要更精确的提示和上下文管理，但今天的本地模型质量已经等于或超过一年前的云端模型质量，且还在持续改进。

魏大勋小叔叔你苏的我实在没招了

「活动」kumawubiaotitest

05.71MB

版本V3.3.38

下载APK 高速下载

下载陆雪琪同人18❌AV黄漫图片安装你想要的应用更方便更快捷发现更多

51%好评(80人)

详细信息

软件大小: 1.7MB
最后更新: 2025/09/08 04:03:22
最新版本: V6.66.7
文件格式: apk
应用分类:ios-Android 欧美男男无套✅免费网站
使用语言: 中文
: 需要联网
系统要求: 5.69以上

应用介绍

一，白丝爆浆❌❌❌，国精产品一线二线三线
二，宁荣荣被裸体露出来❌，🌿男男漫
三，furry动漫18❌动漫网站，男女c18禁黄㊙️×B站
四，91色㊙️乱码一区二区三，胖老奶奶做愛
五，克洛琳德裸体被❌羞羞漫画，散兵被扒开腿做❌文
六，火影忍者红豆被❌无遮漫画,斗破美女被❌黄漫网站，91♥️丨PORNY白浆
七，18❌❌❌❌HD高潮流水动漫
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.5.17

女女又爽❌又黄❌免费动画巨乳

国产➕刺激➕高潮➕免费少萝

虞书欣被❌到喷水小说

8.42MB

105好评

13岁14岁女孩裸体没有马赛克
男c女🔞黄㊙️❌漫画

小🐤🐤戳进🍑无遮挡软件

6.74MB

11好评

国产Jizz18女人高潮火车
成人🔞视频在线观看免费

大但人文大免费观看

13.66MB

312好评

亚洲AV㊙️一区二区柚木提娜
免费观看18视频网站

胡桃❌狂揉❌难受

53.02MB

278好评

欧美成人小说绿色xxx
五十六十路高龄老熟妇XX

91无码精品㊙️入口蝌蚪

71.31MB

701好评

女人精AAAA片一级国
老师脱👙让学生摸🐻不是广告

91麻豆精产国品

83.40MB

333好评

芙莉莲裸体被❌-百度
丝袜脚交❌❌❌国产

JJZZJZZJZZ成熟人妻

23.52MB

100好评

女初高中鞭打屁股网站❌
动漫裸体❌挤奶羞羞视频

男生自慰全过程✅免费

50.87MB

925好评

小兰乳液狂飙🚺👙视频
xxxxx69hd

嫖妓在线视频观看❌xXX

83.25MB

565好评

美女㊙️免费神体视频Vi
furry18+❤️巨大粗壮

免费的黄漫❌18禁动漫APP

83.36MB

750好评

女被c🔞黄㊙️❌
芒果视频成人♥在线观看

开襟爆乳被乱❌

32.70MB

629好评

芙宁娜被❌到爽🔞高潮痉挛网
宁荣荣裸体㊙️无遮挡

成人❌❌❌免费🔞视频免费观看

26.05MB

277好评

国产精品🍄蘑菇免费
FFee❌❌❌国产嘛豆

欧美❌❌❌HD少妇绯色

65.98MB

742好评

j丨ZZ成熟少妇
动漫美女裸体❌开腿网站

维妮娜被扒开腿做❌同人网站

54.72MB

759好评

骚狐视频成人app❤免费
少女破苞流血视频大全

美女又色❌又黄❌在线

57.07MB

680好评

.裸体美女❌❌免费网站动漫白光莹和
男男GAY✅打屁股小说(总攻)

岛国毛毛片

24.29MB

351好评

少妇被强公爽了在线观看
动漫学生裸体❌羞羞

美女果体网站㊙️

13.79MB

317好评

女初高中洗澡视频♥
PH成人版🔞🔞🔞

琳妮特裸身❌视频

84.12MB

212好评

大肉大捧一进一出好爽教官视频
三十四岁性爱视频

AV➕无码➕高潮➕平胸

45.46MB

732好评

MM131王雨纯被❌喷水
9·1旧版安装

白丝大胸小舞被❌出白浆

10.08MB

180好评

xxxxxxx🍆🍑免费
男男GAY✅在线网站

浴室里强摁做开腿呻吟动态图

44.87MB

369好评

动漫强迫裸体被❌出水小说
12孩岁女www免费网站

国产丝袜裸体美女被❌

91.58MB

205好评

阿离裸乳被爆❌白浆的视频
18🈲无码国产在线

校花扒开🍑给我玩

30.44MB

909好评

真实的乱老太β
海贼王佩罗娜被❌18禁网站

安琪拉被❌到爽羞羞漫画

30.88MB

541好评

男自慰被❌❌喷水过程
神里绫华裸身被❌羞羞照片

91♥️丨丨大屁股熟女

29.69MB

125好评

白色jK狂❌密❌❌❌🌿
欧美人与性口牲恔配小说网站

星野裸体被❌黄漫下载

70.91MB

451好评

男人㊙️桶女人屁股
女生怀孕还和男生做爱的视频 title="jiZZji2ZjiZZ亚洲熟妇" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

欧美做受❌❌❌❌青楼12

naruto❌tube纲手

详情
🔞色情乱码欧美在线播放 title="中国小学生做爱视频" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

3D原神祼体啪啪❌H网站

扒开徐伦疯狂揉❌真人版

详情
梅花十三打开腿❌❌爆爽泼水 title="周妍希被❌视频" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

雏田被扒开腿做❌同人网站3D

扒开腿挺进肉嫩小泬视频

详情