最近在折腾一个 iPhone App 的自动化：Mac 上跑个程序，盯着手机屏幕看，该点哪就点哪。一开始图省事，用的是系统自带的 iPhone Mirroring（iPhone 镜像），截窗口的图来看，往窗口上发鼠标事件来点，跑起来倒也没毛病。

问题是，它跑着的时候，我的电脑就基本废了：鼠标时不时被拽过去点一下，键盘焦点也跟着跑到镜像窗口里，我在终端（用的是我自己写的 Notchy）里敲的字，搞不好就敲进手机里去了；更别说镜像窗口一旦被别的窗口挡住，截到的就是我自己的浏览器。。。程序一跑就是一两个钟头，这段时间电脑和手机都不能碰，实在受不了。我意识到，不妙，来活儿了～

去年我写过一篇用ktransformers跑671b的DeepSeek R1，里面那台”4块V100的GPU卡”的机器，最后只跑出了 1 token/s 左右，基本只能拿来研究研究。没想到一年多过去，它又被我翻出来干活了：这次是给一大批图片做 embedding，用来做以图搜图。用的模型是 Qwen3-VL-Embedding-8B，全量跑一遍要十几天。

活儿本身倒是跑起来了，但过程中我被问（也自己问自己）了好几个问题：V100 为啥用不了 BF16？FA2 到底是个啥？每张图 256 个 visual tokens 到底算多还是算少，会不会影响搜索效果？换个 token 数速度又差多少？查资料加实测折腾了一圈，算是把这几个概念理顺了，整理成一篇学习笔记，分享给有需要的朋友。