๐ AI ์๋์ ์์ง๋์ด๋ง ์ ๋ต โ
์ฝ๋๋ฅผ ๋์ด ์ ํ์ ์ฑ๊ณต๊น์ง ์ค๊ณํ๋ ๊ฐ๋ฐ์์ ์ฌ๊ณ ๋ฒ
[๋
ผ๋ฌธ ๋ฆฌ๋ทฐ] Efficient Memory Management for Large Language Model Serving with PagedAttention โ
PagedAttention๊ณผ vLLM์ด LLM serving์์ KV cache ๋ฉ๋ชจ๋ฆฌ ๋ฌธ์ ๋ฅผ ์ด๋ป๊ฒ ํธ๋์ง ์ ๋ฆฌํ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ
๐ ๋ฌ์คํธ๋ก ๊ฐ์ํ๊ธฐ โ
๋ ๊ฑฐ์ ์ฝ๋๋ ์ด๋ฆฌ๊ณ ์ฑ๋ฅ์ ๋์ด๋ ๋จ๊ณ๋ณ ๋ฆฌํฉํฐ๋ง ์ ๋ต