老V100跑图片embedding的那些事

去年我写过一篇用ktransformers跑671b的DeepSeek R1，里面那台”4块V100的GPU卡”的机器，最后只跑出了 1 token/s 左右，基本只能拿来研究研究。没想到一年多过去，它又被我翻出来干活了：这次是给一大批图片做 embedding，用来做以图搜图。用的模型是 Qwen3-VL-Embedding-8B，全量跑一遍要十几天。

活儿本身倒是跑起来了，但过程中我被问（也自己问自己）了好几个问题：V100 为啥用不了 BF16？FA2 到底是个啥？每张图 256 个 visual tokens 到底算多还是算少，会不会影响搜索效果？换个 token 数速度又差多少？查资料加实测折腾了一圈，算是把这几个概念理顺了，整理成一篇学习笔记，分享给有需要的朋友。