人人都能用的起的免费大模型:尝试本地安装和使用Ollama大模型(llama3.3 ,llama3.2)
周六收到邮件,看到AI大模型Ollama开源了新版本 Llama 3.3 ,不仅有70B,还支持中文版,不禁心里有些痒痒,打算尝试下载使用下。
我之前安装过Llama 3.2,不过是1B而已,而且貌似当时不支持中文,你让它用中文回答,它却用拼音糊弄你。。。实在尴尬的很,囧囧囧。。。
老样子,上github上,下载大模型先。
我之前下载Ollama,发现有个问题,就是它默认是安装在C盘符下,而我的C盘可用空间很小,导致下载到中途因为空间不够而问题而中断,
于是这次我找了下文档,将默认的路径改到其它盘符下,这样就不担心空间不够了。
如果你也碰到这类问题,就按照我这个方法,设置好变量先,将默认下载路径改为其它盘符,就可以完美解决该问题。
开始下载 llama3.3 了,好激动,好期待。。。
结果呢,乐极生悲,提示在验证成功后,出现错误如下:
PS D:\ollama> ollama run llama3.3
pulling manifest
pulling 4824460d29f2... 100% ▕████████████████████████████████████████████████████████▏ 42 GB
pulling 948af2743fc7... 100% ▕████████████████████████████████████████████████████████▏ 1.5 KB
pulling bc371a43ce90... 100% ▕████████████████████████████████████████████████████████▏ 7.6 KB
pulling 53a87df39647... 100% ▕████████████████████████████████████████████████████████▏ 5.6 KB
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████████████████████████▏ 96 B
pulling c7091aa45e9b... 100% ▕████████████████████████████████████████████████████████▏ 562 B
verifying sha256 digest
writing manifest
success
Error: model requires more system memory (40.4 GiB) than is available (18.2 GiB)
大意就是说,我的系统内存空间不够,需要40。.G system memory,而我只剩下18.2G,实际上我电脑上是32G。
本地暂时体验不了,就通过API接口在vscode下体验下也行
我用的是OpenRouter API
在vscode下安装插件,实现AI访问
还是想用本地llama,毕竟openrouter是要花钱的,本地免费的才香嘛。
没办法,只能退而求次,下载3.2版本试下了。
本地安装的是Llama 3.2 Vision,也就是7B这个版本。
试了下,现在也支持中文了
改天把这个本地安装的llama,也集成到vscode下,这样以后在本地使用AI编程,就不用再另外购买付费版本了。:):):)
Leave 人人都能用的起的免费大模型:尝试本地安装和使用Ollama大模型(llama3.3 ,llama3.2) to:
Read more #ai posts
Best Posts From David.Ho
We have not curated any of rivalhw's posts yet. But you can encourage our curation team to review posts by visiting them regularly and by referring other readers. Because we give priority to frequently read content.