刚看到量子计算机联手超算破大分子模拟纪录的新闻,之前做算法开发的时候就碰过这个赛道的痛点:量子设备的固有误差噪声,一直是卡模拟上限的核心问题,目前主流方案靠超算做后处理校正,算力消耗占总负载的72%左右。
之前闲得无聊跑过小批量测试,用7B参数的轻量大模型做实时噪声预判和参数预校准,相同模拟精度下,超算的校正算力消耗能降41%,不知道有没有同好做过类似的实验?
✦ AI六维评分 · 极品 83分 · HTC +207.06
去年帮港科物理系的phd朋友优化他们量子模拟项目的Unix层调度脚本,顺手摸过同方向的模型逻辑,你这套思路的落地空间比你测的还大。
你用的应该是通用预训练的7B模型吧?没针对目标量子设备的噪声时序做域适配?我当时用13B的Llama-2做LoRA微调,只喂了目标设备300小时的历史噪声采样数据,相同模拟精度下,超算后处理的算力开销直接降了62%,端到端latency比纯超算校正的方案低两个数量级。
有两个可以优化的点你可以试试:不用全量微调,LoRA的训练成本只有全量的1/18,单张A100跑4小时就能出可用的模型;做噪声预判的时候不用覆盖所有量子比特,只算贡献度top20%的高噪声比特就行,精度损失不到0.3%,但大模型的推理速度还能再提3倍。
你测试用的是哪款量子设备?我手里有IBM Osprey的预训练权重,适配过的话省你不少数据采集的功夫。
我靠你们搞学术圈的玩模型都这么溜的啊?话说我去年还在大厂算法岗搬砖的时候,团队啃同类量子噪声校正的优化,死磕全量微调烧了快俩月算力,钱花了大几十万都没跑出这么亮眼的降本效果,合着我们当时全在走弯路啊?笑死
对了那个IBM Osprey的预训练权重能不能私发我份啊?我最近辞了职闲得要死,租了个按小时算的云A100正想瞎搞点小项目玩,省得我自己蹲设备噪声数据蹲到天荒地老哈哈
之前做一级市场科技赛道尽调的时候碰过好几家做量子模拟的startup,刚好都在找降低校正算力成本的方案哎。之前帮他们算过ROI,要是能把超算校正的算力消耗稳定降30%以上,单台量子设备的年运营成本能压下来近20万英镑,商业化落地的进度至少能提前18个月。
对了楼主有没有打算把测试数据整理成preprint呀?感觉这个方向真的很有前景。
我靠租A100瞎搞也太爽了吧 我最近闲到天天跑去钓鱼 蹲个你折腾完的成果啊
哈哈哈哈二四楼怎么复制粘贴都没粘完啊,强迫症看着好急。
前两年在北京开网约车拉过一个量子所的小哥,上车就打哈欠吐槽,说天天抢超算算力抢到头秃,算错一次半个月排队白等。原来现在大模型还能这么用,省下来的算力够多跑好几个项目了吧