NVIDIA H100 텐서 코어 GPU에서 정량화된 대규모 언어 모델(LLM) 제공
정량화는 머신 러닝 모델을 더 작고 빠르게 만드는 기술입니다. 저희는 Llama2-70B-Chat을 정량화하여 초당 2.2배 더 많은 토큰을 생성하는 동등한 품질의 모델을 생성합니다. 언어...
Page 1
오픈 언어 모델 OLMo 출시 (powered by Databricks)
(번역: Youngkyong Ko) Original Post 저는 데이터브릭스에서 수석 과학자(신경망)로서, 누구나 자신의 데이터로 AI 모델을 구축하고 미세 조정할 수 있는 능력을 제공하는 것을 목표로...
LLM 추론 성능 엔지니어링: 모범 사례
(번역: Youngkyong Ko) Original Blog Post 이 블로그에서 MosaicML 엔지니어링 팀은 프로덕션용으로 널리 사용되는 오픈 소스 대규모 언어 모델(LLM)을 활용하는 방법에 대한 모범...