随着AI时代的到来，各种大模型能极大的提升工作效率，让很多费时费力的事情变得轻松愉快，但随之带来的隐私问题，还有烧钱如流水的token，就有了我现在用的家庭设备之一，懒猫算力仓。

0x00 颜值即正义

作为老王的忠实粉丝，懒猫的VIP用户，带货达人，曾经的周榜/月榜第一，当前总榜第六开发者，最大容量存储懒猫拥有者，虽然没赶上算力仓的第一波样板，但有幸拿到了老王赠送的创始版样机。


外壳沿袭懒猫的高端CNC外壳，机甲风，非常酷炫，拿在手里很沉很扎实，比板砖更适合自卫防身。
星球大战风格，太酷了，唯一缺憾的是体积比懒猫大了点，放上面有点头重脚轻，最近实在太忙了，一直说设计个3D打印的外壳和支架，一直抽不出时间，先排进懒猫清单吧，等搞完手头的几块板子再来折腾。

0x10 性能指标

核心主控用的是老黄的NVIDIA Jetson AGX Orin 64G，也就是JD卖1W5的开发套件同款核心板。
算力275 TOPS，虽然远不如4090，但这价格、显存容量、功耗，作为家庭服务中心还是很OK的。板载2个nvme接口，有HDMI、USB3.0，内置wifi、2.5G/10G双网口，系统是Orin原生Ubuntu，二次开发非常友好。


下面是我测试过得部分显卡和模型，用的ollama默认的参数，没有做任何优化，直接下载然后测试。
可以看到小模型方面，Orin还是能打的，相比内存价比黄金的Mac和功耗炸裂的显卡，作为7x24小时工作的家庭算力中心还是绰绰有余的。

模型【tokens/s】
ollama q4		 Orin 64g
 M4 Pro 64G M2 Ultra 192G M3 Ultra 512G 4090D 48G 4090 24G A100 40G
codellama:70b 3.88 5.88 15.36 14.59 21.97 23.35 24.11
qwen2.5:7b 23.97 43.05 84.41 87.42 143.53 91.35 81.92
qwen2.5:14b 13.15 22.18 46.65 46.86 79.44 58.51 59.03
qwen2.5:32b 6.45 10.53 24.7 24.54 40.13 32.68 33.77
qwen2.5:72b 3.03 4.77 11.40 18.34 17.24 2.71
qwen2.5-coder:7b 22.95 43.51 84.13 83.09 143.65
qwen2.5-coder:14b 12.57 22.14 46.83 45.84 74.98
qwen2.5-coder:32b 6.21 10.78 24.48 40.12
qwen3:8b 22.34 32.34 62.91 111.16 99.43
qwen3:14b 13.34 20.9 42.18 73.53 64.30 69.49
qwen3:30b 17.76 34.41 57.07 66.98 43.37 43.25
qwen3:32b 5.94 9.67 21.01 38.8 38.84 33.80
qwen3:235b 20.20 不支持
deepseek-r1:7b 23.68 41.89 84.15 81.24 144.50
deepseek-r1:14b 12.41 18.96 47.08 38.78 77.57
deepseek-r1:32b 5.98 10.04 25.03 23.64 39.42
deepseek-r1:70b 3.04 4.97 12.32 20.13
deepseek-coder-v2:16b 25.74 85.21 107.44 96.13 133.17
deepseek-coder-v2:236b 22.97
qwq:32b 6.26 24.21 24.79 40.52
mistral:7b 22.80 92.54 160.86
phi4:14b 13.13 46.46 44.38 83.87
gemma3:12b 13.80 25.38 45.14 85.23
gemma3:27b 7.16 11.87 25.61 23.91 44.47
codegemma:7b 22.95 81.45 141.07
codegemma:7b-code 错误 错误 143.81
llama3.3:70b 3.23 12.39 20.27
deepseek-v3

0x20 软件应用

AI应用最麻烦的就是各种配置，如果只是流式对话很简单，打开网页就行，但如果要玩更深度点的，比如文生图、翻译、视频检索、语音等等，大部分小白用户都是两眼一抹黑。。。
懒猫算力仓作为懒猫的附属配件，所有AI应用都可以在懒猫的商店里直接安装，主打一个简单省事。


还有个非常强的应用，作为十多年的NAS用户，数据仓鼠，存了若干TB的视频、音频、照片、文档等等各种资料，每次要找文件的时候都是一个艰苦的工作，之前觉得懒猫相册的自然语言搜图很方便，现在有了算力仓，可以全盘搜了。

算力仓系统可以直接SSH上去，部署安装自己的应用，配个共享，完全就可以当万兆存储来用，弥补了懒猫2.5G网口的不足，期待老王发出算力仓存储的应用，这样就更Happy了。

0x30 未来期许

Orin我用了一年多，懒猫算力仓因为用的是同款核心板，所以在性能方面没有让我Surprise，外壳和外设接口倒是让我挺满意的，弥补了懒猫没有万兆接口的遗憾，毕竟我家里19年就已经是万兆局域网了。
作为家庭算力中心，日常让它训练学习自己的私人文档资料，不用担心隐私方面问题，小模型无限token，等agent应用成熟了，就让它7x24努力干活就行。
配合懒猫的内网穿透，可以在任何地方用pc或者手机访问家里懒猫上的AI应用，这还是非常棒的，相比其他的各种AI一体机，懒猫算力仓应该是最省事方面的。
毕竟面世时间短，现在懒猫的AI应用还有很多不足的地方，但相信老王会让它越来越强大的。
PS：期待下一代的Thor核心懒猫算力仓，2070T FLOPS，不过按照老王精益求精的调性，目测得26-27年了。。。先用Orin的顶着吧~~

最后，如果有想买懒猫算力仓的，必须要先拥有懒猫，可以找我要折扣券，给老王提了那么多意见建议，刷脸要点折扣券还是ok的，大不了下次和凌御去灌醉他^_^