HBM 밑에 플래시를 깔자 LLM 서빙이 최대 87% 빨라졌다

LLM이 답을 만드는 동안 메모리에 가장 많이 쌓이는 건 모델 가중치와 KV 캐시야. 모델이 커지고 대화가 길어질수록 이 둘을 담을 메모리 용량과 대역폭이 서빙 속도의 발목을 잡는다는 게, UC Berkeley와 FuriosaAI 연구진이 쓴 논문의 출발점이야.¹

논문 제목은 “Characterizing High Bandwidth Flash for LLM Serving”이야.¹²

연구진이 주목한 건 고대역폭 플래시(HBF)야. HBM보다 용량을 더 늘릴 방법을 주는데, 접근 비용이 높고 쓰기 내구성이 제한된 메모리라 쓰는 방식이 복잡해진다고 논문은 설명해.¹ 그래서 연구진은 캐시 중 무엇을 플래시에 얼마나 자주 썼다 지우냐를 정하는 “버퍼드 캐시 인지 스케줄링”을 함께 짰어.¹

숫자는 이렇게 나와. 평가한 워크로드 전반에서 가장 빠른 HBF 증강 시스템은 HBM 전용 시스템보다 완료 시간을 36.1~87.0% 줄였어.¹ 모델링된 에너지 절감은 최대 55.8%까지 났는데, 일부 가벼운 워크로드에서는 오히려 HBF가 에너지를 더 썼어.¹ 그리고 그 버퍼드 캐시 인지 스케줄링을 적용하자 추정 HBF 쓰기 수명이 4.77년에서 14.82년으로 늘었어.¹

세 숫자가 같은 방향을 가리켜. 플래시를 꽂기만 하면 되는 게 아니라, 무엇을 언제 플래시로 내려보낼지를 스케줄링으로 조율해야 속도와 에너지, 수명을 같이 챙길 수 있다는 거야.

다만 이 숫자들은 모델링 결과야. 실제 HBF 칩을 꽂은 서버에서 잰 값이 아니라는 뜻이지. 논문이 어떤 워크로드 범위와 하드웨어 스펙을 가정했는지는 이 발표문만으로는 다 알 수 없고, FuriosaAI가 이 구조를 자기 추론 가속기에 실제로 적용할지도 아직 나온 말이 없어.

각주

1. SemiEngineering, 「HBF for High-Throughput LLM Serving (UC Berkeley, FuriosaAI)」(2026-10-02) 원문 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷

2. Yu, Zack 외, 「Characterizing High Bandwidth Flash for LLM Serving」(arXiv:2609.39131, 2026년 9월) 논문 ↩︎