【DGX Spark优化加速】sm120上sglang的fp8的triton内核的矩阵乘性能问题
前言问题起因是我发现sglang上在blackwell速度和H系列一样了,最搞的是,不量化速度反而快于是深入跑压测研究了一下。让AI跑了一下性能测试,发现原因在于这里原因在推理服务端中,有个参数是 M,M 是这一次前向计算里要处理的 tok
前言问题起因是我发现sglang上在blackwell速度和H系列一样了,最搞的是,不量化速度反而快于是深入跑压测研究了一下。让AI跑了一下性能测试,发现原因在于这里原因在推理服务端中,有个参数是 M,M 是这一次前向计算里要处理的 tok
公众号在今年初进行了大幅度改版,文章展示规则彻底重置。过去是“订阅号列表粉丝触达”,现在是“公域算法推荐”为主为,对我公众号长文的影响,我做出的改变,九月份长文索引。 公众号在今年初进行了大幅度改革,文章展示规则彻底重置。过去是“订阅号列表
随着业务的不断扩展和市场需求的增长,火绒安全寻求更多优秀的合作伙伴加入我们的行列。我们特别开启了渠道伙伴招募计划,期待与更多志同道合的伙伴一起把握行业趋势,共同开拓市场潜力,携手共创网络安全的美好未来!对此感兴趣的伙伴可以点击海报进行了解、
【火绒安全周报】图床平台Gyazo遭黑客入侵/五角大楼大量军方敏感信息遭泄露 黑客正大量劫持AI账户和服务器以夺取算力谷歌威胁情报集团预警,名为“LLM劫持”的攻击今年显著激增,非法AI算力与账号已成黑市热门商品。攻击者盗取OpenAI、A
火绒小问答——「企业版」备用中心 尊敬的用户,您好!火绒终端安全管理系统2.0的备用中心(灾备系统)功能,用于在主中心因宕机、断电、硬件/软件故障等意外无法使用时,由备用中心顶替主中心继续管控终端,所有终端将在手动切换备用中心后自动连接备用
集体问题拆解,解锁审议式群体智慧的底层机制 导语“三个臭皮匠,顶个诸葛亮”,这种行为科学中的群体智慧在很早就已经被发现。人们认为普通人独立判断的聚合结果可以逼近真相,但集体讨论的效果并不稳定,交流既能提升判断精度,也会诱发羊群偏差。已有研究
之前有一位辉友提问,说自己工作十六年了,最近两三年,对工作越来越缺少热情。生活平平淡淡,除了陪伴孩子、偶尔出去旅游,似乎也没有什么事情能让自己特别期待。他问我,怎样才能重新燃起工作和生活的热情?这个问题让我很有共鸣。2024年写下最初那篇回
从反溯源到 AI 攻击面——基于实战培训大纲整理的 24 章全栈攻防参考。0x01 定位与形态这套参考库提供三种粒度、四种形态,按需取用:形态文件适用场景精炼版red-team-skill-tree.zh-CN.md(中文)/ red-te
我花了10个小时就从江门走出了广东。 跳转微信打开
Datawhale分享 行政令:《开启超级智能时代》AI这个名字,特朗普不想用了!就在昨天,他签署《开启超级智能时代》行政令,要求美国联邦行政部门在法律允许的范围内,把官方用语中的「人工智能」(Artificial Intelligence
冷战时期的太空竞赛里,除了聚光灯下的载人登月和巨型照相侦察卫星,还有一群始终隐于阴影的“小个子”。它们只有大号行李箱大小,躲在HEXAGON这类重型侦察卫星的身侧被捎带上太空,靠着高速自旋让天线扫过地面,悄悄收集着敌方雷达与无线电信号。这些
这个哥们儿的理想不错,[强] 跳转微信打开
顺序可能和直觉完全相反 大家有没有发现,AI现在有点专挑难的先做。越是数学、科研这种过去觉得最难被机器搞定的东西,最近反而越容易拿到大结果。“难不难”显然已经不是判断AI能力的标准。那我们到底该怎么判断,一个行业会不会被AI迅速颠覆?最近听
今天,有一则振奋人心的新闻。 文 / 呦呦鹿鸣黄志杰今天,有一则振奋人心的新闻。当地时间9月30日,迪拜航空(flydubai)FZ1073航班的波音737飞机,载着174名乘客,正从迪拜飞往以色列第二大城市特拉维夫,飞机上乘客大多是以色列
跳转微信打开