• 帮助中心

  • ADADADADAD

    速度,模型,代码

    奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快[ 4号文库 ]

    4号文库 时间:2024-12-30 18:56:45 热度:0℃

    作者:文/会员上传 下载docx

    简介:

    字典百科网(zdbk.com)12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型(LLM)。这台主频350MHz电脑

    以下为本文的正文内容,请查阅,本站为公益性网站,复制本文以及下载DOC文档全部免费。

    字典百科网(zdbk.com)12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型(LLM)。

    这台主频350MHz电脑成功启动进入Windows 98系统,随后EXO启动了基于Andrej Karpathy的Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的故事,令人惊讶的是生成速度相当可观。

    奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

    EXO Labs的这一壮举并非偶然,该组织自称为“民主化AI”而生,由牛津大学的研究人员和工程师组成,他们认为,少数大型企业控制AI对文化、真理和社会的其他基本方面是不利的。

    因此,EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。

    EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。

    将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。

    编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。

    利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。

    使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。

    奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快

    奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快.docx

    将本文的Word文档下载到电脑

    推荐度:

    下载
    热门标签: TAGS1 TAGS2 TAGS3 TAGS4 TAGS5
    ADADAD
    热门栏目