llm-serving

UC Berkeley와 FuriosaAI 연구진이 GPU 메모리 부족을 풀 추가 저장 계층으로 고대역폭 플래시(HBF)를 실험했어. 속도·에너지·메모리 수명이 어떻게 갈리는지, 논문이 내놓은 숫자를 정리한다.

• ai-infrastructure
• memory-chips
• llm-serving