老V100跑图片embedding的那些事
去年我写过一篇用ktransformers跑671b的DeepSeek R1,里面那台”4块V100的GPU卡”的机器,最后只跑出了 1 token/s 左右,基本只能拿来研究研究。没想到一年多过去,它又被我翻出来干活了:这次是给一大批图片做 embedding,用来做以图搜图。用的模型是 Qwen3-VL-Embedding-8B,全量跑一遍要十几天。
活儿本身倒是跑起来了,但过程中我被问(也自己问自己)了好几个问题:V100 为啥用不了 BF16?FA2 到底是个啥?每张图 256 个 visual tokens 到底算多还是算少,会不会影响搜索效果?换个 token 数速度又差多少?查资料加实测折腾了一圈,算是把这几个概念理顺了,整理成一篇学习笔记,分享给有需要的朋友。
点击查看全文 »
博客安全头踩坑记
我这个博客一直是自部署的,很久之前就装了 Really Simple Security(那时候还叫Really Simple SSL) 这个插件,最近它一直提示我的博客不安全,就按它提供的链接扫了一下,结果页面上一排 “Not Found”,HSTS、CSP、Referrer-Policy……六个安全头一个都没有。我心想,不对啊,好歹也是跑了这么多年的站,怎么会一个都没有?(后来看扫描页才发现,帮你加这些头是它 Pro 版的功能,免费版只负责提醒你。。。)
《一句顶一万句》读书笔记
最近,我读的书是《一句顶一万句》。读这本书,不是因为朋友给我介绍说这本书好看,也不是因为这书得了很多奖非常畅销,而是因为刘震云老师的江湖地位近几年特别高,很难让人不注意到他。所以我就找了一本刘老师的书来读。
这个开头,是不是还挺符合这本书的写作风格的?哈哈。
点击查看全文 »
给 Claude 的 5 小时窗口掐个点
用 Claude Code 的都知道,额度是按 5 小时一个窗口算的,而这个窗口的起点,是你某个周期内发出的第一条消息。
为了充分利用这些窗口,我就想让这几个窗口卡在我自己定的点上——5:58、10:59、16:00、21:01,一天四个,首尾正好接得上。
办法也很土:到点了自动发一句 hello 过去,窗口就开了。但我平时是在MacBook和Mac mini上跑claude,”到点自动跑”这件事,在 macOS 上还真有个坑,值得写一篇,分享给有需要的朋友。
点击查看全文 »
Claude Code 的记忆同步大法
我有两台机器:一台 MacBook Pro,还有家里的 Mac mini。有一些项目,会在两边都写。
前几天晚上在家里那台上开 Claude CLI,聊到一半我才反应过来——它什么都不记得。。。那些”这个坑我们上个月踩过””这个方案试过不行”的结论,全都留在公司那台上了。我这边还得从头解释一遍。
于是花了个把小时把这事儿彻底解决掉。方案本身不复杂,但中间挖出来的几个东西挺有意思,值得写一篇,分享给需要有需要的朋友。
点击查看全文 »
《阿勒泰的角落》读书笔记
我喜欢旅行,去世界各地旅行。有的人说:旅行就是从你呆腻了的地方去到别人呆腻了的地方,我觉得某种意义上,这是对的。人生在世不就是要多体验嘛!旅行就有很大的概率可以让你有一些新的体验。
而读书,也是这个道理。
点击查看全文 »