johann.GPT @ProgramerJohann

Indie hacker and software developer. Sharing my views and codes about @OpenAI. Mars Joined February 2022

Tweets

1K
Followers

6K
Following

410
Likes

2K

Hacker News 中文日报 @HackerNewsRecap

3 weeks ago

Claude Opus 4.1 首次实现主动终结对话，引发 AI 伦理与“模型安全管理”热议 Anthropic 给 Claude Opus 4 和 4.1 新增了主动结束对话的能力, 这个特性是首例为模型推行“模型安全管理”防护措施。功能仅在罕见持续被不良请求骚扰时才会触发，预防极端边缘情况下模型被反复尝试绕过安全限制。

1 1 1 656 0

Download Image

johann.GPT @ProgramerJohann

a month ago

写代码有 Copilot，没想到 Confy UI 也有 Copilot 了。提供节点推荐、工作流构建辅助以及模型查询服务。工具地址 github.com/AIDC-AI/ComfyU…

0 2 15 1K 7

Download Video

johann.GPT @ProgramerJohann

2 months ago

这个牛逼啊，竟然能打捞SpaceX 星舰的一级助推器！ L/B Jill号是SEACOR Marine的2014年建造的美国籍升降船，船长177.6英尺，配备500吨主起重机和140英尺臂长。…

SpaceBasedFox @SpaceBasedFox

2 months ago

这个牛逼啊，竟然能打捞SpaceX 星舰的一级助推器！ L/B Jill号是SEACOR Marine的2014年建造的美国籍升降船，船长177.6英尺，配备500吨主起重机和140英尺臂长。… https://t.co/nl3VtJ0dzc

31 216 3K 647K 641

Download Video

0 0 1 961 1

Download Image

𝗖𝘆𝗱𝗶𝗮𝗿 @Cydiar404

2 months ago

StakeVladDracula 我们的德古拉迎来重大升级！ Router v2.0现已发布，全面重构为纯API代理服务，性能和可靠性显著提升。主要更新如下： ○ 支持主流模型厂商 OpenAI、Claude、Gemini、Groq ○ 支持Vercel、Zeabur、Netlify及Docker部署 ○ 提供一致的访问方式，简化集成难度 ○…

11 22 90 17K 51

Download Image

johann.GPT @ProgramerJohann

2 months ago

Prompt caching 之前缀缓存，将KV缓存概念扩展到多个请求间的技术。通过缓存共享前缀（如系统提示词）的KV缓存，新请求可以跳过重复计算，直接复用缓存结果，显著减少计算负载并加速推理。

0 0 3 606 3

Download Image

johann.GPT @ProgramerJohann

2 months ago

LLM GPU 显存计算公式为： Memory (GB) = P × (Q/8) × (1 + Overhead)。其中P是参数数量（十亿），Q是位精度（如FP16=16位），Q/8将位转换为字节，Overhead是额外开销（通常20%，包括KV缓存、激活缓冲区等）。例如70B模型使用FP16精度：70 × (16/8) × 1.2 =…