들어가며 책을 읽다가 좋은 문장을 만나면 나는 항상 똑같은 짓을 한다. 사진을 찍는다. 그리고 그 사진은 카메라 롤 어딘가에서 영원히 묻힌다. (지난 몇 년치 카메라 롤을 뒤지면 내 인생 문장 몇백 개가 잠들어 있을 거다. 다시는 못 찾는다는 게 함정이지만.) 그래서 앱을 하나 만들기로…
기술과 브랜드, 그 사이의 이야기들
다양한 엣지 디바이스 환경에서 대규모 언어 모델의 추론 지연 시간을 정확하게 예측하는 프레임워크를 제안하는 논문입니다. 모델 구조와 하드웨어 상태 등 복잡한 변수를 고려하여 실행 단계를 분리하는 방식을 적용했습니다. 효율적인 LLM 배포를 위한 최적의 모델 선택 과정에 기여할 것으로 기대됩니다.
