2024 年云原生运维实战文档 99 篇原创计划 第 018 篇 |玩转 AIGC「2024」系列 第 007 篇
你好,欢迎来到运维有术。
今天分享的内容是 玩转 AIGC「2024」 系列文档中的 仅需 2100 元,打造一台 AI 服务器,玩转本地大模型和 Stable Diffusion。
我实在抵挡不住各种 AI、本地大模型、本地个人知识库和 Stable Diffusion 绘图的诱惑。花了 2100 元,攒了一台本地跑 AI 的服务器。
我攒这台主机的主要目的是学习以下技术:
接下来,我分享一些我的入坑经历和几个场景的实际使用效果,供大家参考。
前提声明:本文介绍的 AI 服务器的核心部件都是洋垃圾,功能满足学习需求,但性能有限。仅适合跟我一样预算有限的贫民,高端玩家请忽略。
作为刚入门的电子垃圾佬,我海淘(海鲜市场淘宝)选择配件的第一原则,只要够用绝不多花一分钱,精挑细选了一些配置,总计斥资 2124.15。
上配置:
配件 | 型号配置 | 参数说明 | 价格 | 备注 |
---|---|---|---|---|
主板 | 科脑 X99-D3 | 原芯片单路大板 | 250 | |
CPU | E6-2698BV3 | 2.0G 16 核 32 线程 | 115 | |
内存 | 128G DDR3 | 金士顿 DDR3 1600 32G*4 无马甲 | 300 | 单条 75 |
散热 | 6 铜管散热器 | 65 | 跟主板一起买的,有点贵了,单买 50 之内也有很多选择 | |
机箱 | 积至 | ATX 大机箱 | 59 | 显卡风扇是弯头的,所以大小刚刚好 |
电源 | 长城 | HOPE-6000DS 额定 500W | 90 | 闲鱼本地自提 |
显卡 1 | 亮机卡 | 铭瑄 HD6570 巨无霸-1G(带 HDMI、VGA) | 25 | 闲鱼本地自提,建议买 A 卡作为亮机卡,跟 N 卡不冲突省心 |
显卡 2 | 算力卡 | NVIDIA TESLA P100 16G 显存 | 900 | 显卡 + 电源转接线 + 主动散热风扇一套 |
风扇 | 先马冰洞 2S | 无光 / 液压 / 静音 一组 4 个 | 31.15 | PDD |
硬盘 | M.2 NVME 1T | 梵想 S690 | 289 | 23 年京东购入,现在涨价了 |
合计 | 2124.15 |
说明: 上面的价格仅供参考,随着开源大模型的百花齐放及其他原因,原来性价比最高的 CPU、内存、显卡,价格是一路狂涨。
作为一台综合性的兼具云原生、AI、大模型、大数据多种技术栈的学习实验平台,我会在上面部署各种操作系统及各种软件。
因此,最好的解决方案就是采用虚拟化平台,创建虚拟机,安装部署各种类型的操作系统。
虚拟化平台有两种选择:
VMware 公司出品的 VMware ESXi 图形化管理、功能强大、稳定性也毋庸置疑。非技术控和开源控的首选虚拟化方案。
Proxmox Virtual Environment 是一个基于 QEMU/KVM 和 LXC 的开源服务器虚拟化管理解决方案。技术控、开源控的首选方案。
最终我选择了 PVE,有以下几点原因(谨代表个人观点)
部署 AI 大模型和 Stable Diffusion 的操作系统选择最新的 Ubuntu 24.04 LTS ,当然你也可以选择 Ubuntu 22.04 LTS。
部署 Docker、Kubernetes、KubeSphere 的操作系统选择 CentOS 和 OpenEuler。
用 Ollama 启动 qwen:14b 问了几个简单的问题进行测试,回答速度我个人还是比较满意的,但是回答效果太一般了,不如 qwen:32b 。
回答效果:
题目描述
设计一个名为 Student 的类,用于存储学生的信息。每个学生有姓名(name)、年龄(age)、成绩列表(grades)。你需要实现以下功能:
初始化: 构造函数接受姓名、年龄和一个初始成绩列表(可选,默认为空列表)。
添加成绩: 实现一个方法 add_grade(grade: int),允许向学生的成绩列表中添加一个新的成绩。
计算平均分: 实现一个方法 calculate_average(),返回所有成绩的平均分。如果成绩列表为空,则返回0。
最高分科目: 实现一个方法 highest_scoring_subject(),返回一个元组,包含最高分及其对应的科目名称。假设科目的名称和分数通过字典形式一起存储在成绩列表中,例如 {'Math': 90, 'English': 85}。如果成绩列表为空,返回 (None, None)。
回答效果:
回答速度见视频:
问答测试时服务器整机耗电量 300W 左右。显卡显存 10G 左右,细节如下:
画了几张图,好像都画残了,应该是手法不对。下面上一张图看看效果。
https://civitai.com/images/7785961
NVIDIA P100 出图耗时 4 min,速度还算能接受,同样的参数 M1 芯片的 Mac Mini 28 min 才出图。
同样的示例你们用什么显卡,出图时间多少,欢迎在评论区交流讨论。
对于 NVIDIA TESLA P100,你还有什么想要体验测试的,也可以给我留言,我帮你体验。
以上,就是我今天分享的全部内容。下一期分享的内容还没想好,期待一下开盲盒。敬请持续关注!!!
免责声明:
Get 本文实战视频(请注意,文档视频异步发行,请先关注)
如果你喜欢本文,请分享、收藏、点赞、评论! 请持续关注 @ 运维有术,及时收看更多好文!
欢迎加入 「知识星球|运维有术」 ,获取更多的 KubeSphere、Kubernetes、云原生运维、自动化运维、AI 大模型等实战技能。未来运维生涯始终有我坐在你的副驾。
版权声明
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。