【普通人用AI】如何在家用PC使用本地大模型之法拉第（faraday)篇

近期本地大模型的发展进步，引发了对其是否能够替代ChatGPT的讨论。在不同领域的表现上，本地大模型展现出了一些令人鼓舞的特点，使其在某些领域确实可以与ChatGPT媲美。

一般来说，我们使用本地大模型的原因，基本就是一些隐私和保密性上的优势。因为它们在本地运行，用户的数据可以完全保留在自己的设备上，不需要通过云端传输。但是，使用本地大模型，你需要有工具。

之前，本地大模型需要庞大的计算资源和存储空间来运行，这对于一般用户来说可能是一个挑战。我们都是通过text-generation-webui 这款工具来实现本地大模型（特别是海外的模型）部署。基于text-generation-webui 想要比较实用的运行本地大模型，你至少需要12G以上显存的显卡，比如RTX 3060以上。

但text-generation-webui ,对于初学者来说，还是太难了。

不过，现在，已经有很好的傻瓜式的工具，可以给大家使用起来：

这就是法拉第 https://faraday.dev/

有桌面版本，大家可以自行下载软件安装。安装后再下载模型（需魔法），之后完全离线。

2、你可以把它看作式character.ai的离线版，有很多的角色预设可以下载使用。

3、从7B到34B，都可以用上。理论上只要内存够大（128G+)你可以跑70B的特大模型。

个人体验是，用它配合目前比较优秀的模型来写英文小说，因为预设很出色，目前已经非常成功了。而对于中文还不够；一方面是中文模型这方面比较欠缺；另一方面预设也不太够（不过，都在快速进步之中）。

4、法拉第的好处是，它有非常多的预设，这让它的角色扮演非常的成功。你完全可以自行设计一个对话游戏，并演绎成为剧本和视频。。由于模型在本地，几乎不会有在线模型的强行打断和过高的道德枷锁等。。

当然，你不要拿它干坏事哦，那话咋说的，大模型并非法外之地~哈哈。

作为一款低门槛的工具，它基本满足了我们对本地大模型的基本需求；而且完全免费，你可以自行试用。一般来说，不管你有没有显卡，只要具备16G/32G内存，大部分7B/13B模型都能跑起来，只是速度比较慢一点。

根据我的实测，即便是比较老的便携笔记本（AMD R5-3600+8G RAM）,跑个3B的模型也还是可以的。。

但也不是特别慢，7B模型在E5-V3(纯CPU)下面都能跑到5TOKEN每秒的速度；如果有显卡，特别是英伟达显卡，表现会更好。