800 MB 在 iPhone 上跑出 27 tok/sec,PocketPal 让我重新看本地 LLM
实测PocketPal AI在iPhone 15 Pro上离线运行约800MB的Qwen3.5-0.8B q8_0模型,跑出27.10 tok/sec的生成速度,给出iOS与Android两条安装路径和模型挑选建议,适合飞行断网、私密医疗记录总结等不想上云的场景。
实测PocketPal AI在iPhone 15 Pro上离线运行约800MB的Qwen3.5-0.8B q8_0模型,跑出27.10 tok/sec的生成速度,给出iOS与Android两条安装路径和模型挑选建议,适合飞行断网、私密医疗记录总结等不想上云的场景。
蚂蚁百灵发布1万亿总参数、63B激活的推理模型Ring-2.6-1T,Novita在OpenRouter提供截止5月15日的免费端点并进入OpenCode Zen清单,实测PR review抓到Claude漏掉的race,但免费期提交的数据可能被收集用于训练,敏感代码须慎用。
从Anthropic工程师Thariq的「HTML is the new markdown」说起,作者结合自己扫一遍就按LGTM、漏掉函数签名变更的PR review事故,引用MIT EEG实验等研究,分析认知卸载导致批判性审查萎缩的三段闭环,主张拍板场景改用plain text输出。
DeepSeek成立三年首次接受外部融资,规模约75亿美元、估值500亿美元,梁文锋个人出资约30亿美元占整轮四成,文章拆解算力开支剥离、给员工发股权、赶在V4.1发布前到账与Big Fund III领投的国家背书四股推力。
实测OpenAI于5月7日发布的Codex Chrome插件,记录4个安装坑,包括第三方API模式装不上须切官方订阅登录、香港节点打不开安装页、Chrome须设为系统默认浏览器、装好后检测不到要重启电脑,并说明需在对话里用@ Chrome显式调用。
Claude Desktop 1.6259.1给Gateway模式加了模型ID白名单,只放行以claude或anthropic开头的模型,同日Claude Code CLI 2.1.129把网关模型发现改为手动设环境变量开启,文章分析封堵细节、本地代理改写模型ID的绕过法及其预计1到2个月的存活期。
记录Claude Code 2.1.129版本按skillListingBudgetFraction(默认1%)裁剪skill描述的机制,作者安装的26个skill中22个的description未被加载导致无法自动触发,并给出禁用skill、抬高预算比例、精简描述三条处理路径。
拆解Anthropic内测Insights功能的工程spec,其对最多100个session做4路并行summarize加单次综合的map-reduce架构,token等硬数据由代码从事件流计算、被引用的session ID须与输入校验,总结出4条可直接照抄的LLM反幻觉设计原则。
Anthropic在Code with Claude大会宣布整租SpaceX Colossus 1数据中心22万块GPU、超300兆瓦电力,当天把Claude Code五小时限速翻倍并取消高峰限流,作者复盘上周押注涨价加限制为何赌错,关键在低估了算力供给的爆发式扩张。
解读OpenAI于5月2日为Codex桌面App推出的Codex Pets功能,7只预制像素宠物以动作实时反映agent运行状态,配套Hatch自定义工具,分析其用ambient awareness降低长任务监控的注意力成本,并对比Anthropic工程师风格的UX哲学分化。