您的当前位置:首页 > 热点 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-05 09:30:46 来源:网络整理 编辑:热点
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
给尤文那不勒斯建议,前总监:路易斯费利佩风格很像卡纳瓦罗2025-01-05 09:21
梁学铭:广州队忠实球迷较多,让他们分到我们这边没那么简单2025-01-05 09:13
灾难!曼城近期战绩:英超8轮1胜1平6负;欧冠3轮不胜联赛杯出局2025-01-05 08:45
2万名国内外跑者参加2024黄埔马拉松赛2025-01-05 08:23
[流言板]三分8中1!巴恩斯投篮19中7,得到16分13板2助2断2025-01-05 08:22
夺得本年度第五个冠军头衔 “银河战舰”登顶洲际杯赛2025-01-05 08:11
🎥冯潇霆哭泣:唯一遗憾是没进世界杯!我们这代人就差这么一点2025-01-05 07:57
天玑8400系列首发机型来了!REDMI Turbo 4定档1月2日2025-01-05 07:46
谷歌CEO:Gemini将成公司2025年“最大重点”2025-01-05 07:30
津媒:U17女足集训由45人缩减至32人 踢好U17世界杯是努力方向2025-01-05 07:29
名嘴排现役前五三人组:詹姆斯/浓眉/里夫斯比布克/KD/比尔强2025-01-05 09:27
Windows深色模式历经十年仍未完善!还有大量未完成部分2025-01-05 09:13
马卡:米利唐和皇马都对复出充满信心,球队不考虑补强中卫2025-01-05 08:47
[流言板]美媒打趣费内巴切合照:博班臂展太长了,一人揽全队2025-01-05 08:21
小斯:锡安要提升自己的外线技巧 这会对他很有帮助2025-01-05 08:16
犯规麻烦!浓眉篮下抛投造成萨博尼斯第六犯,国王挑战失败2025-01-05 07:29
天玑8400系列首发机型来了!REDMI Turbo 4定档1月2日2025-01-05 07:20
率队夺30冠有多难?至今仅5人做到,瓜帅上榜,安切洛蒂刚刚完成2025-01-05 07:01
克甲奥里金客场挑战塞斯维特 中国球员李嗣镕再次首发出战2025-01-05 06:56
世体:巴萨各队举行圣诞晚宴,拉波尔塔感谢了俱乐部所有成员2025-01-05 06:47