ダヤ・クディア

ダヤ・クディア's posts

Abstract representation of LLM Inference token generation pipeline

2024年3月20日/1分未満

高速、安全、高信頼性：エンタープライズグレードのLLM推論

Serving Quantized LLMs on NVIDIA H100 Tensor Core GPUs

2024年1月31日/1分未満

NVIDIA H100 Tensor Core GPU上でのクオンタイズ(量子化)LLMの処理

LLM Training and Inference with Intel Gaudi 2 AI Accelerators

2024年1月4日/4分で読めます

Intel Gaudi 2 AIアクセラレーターによるLLMトレーニングと推論

mixtral_social

2023年12月21日/1分未満

Mixtral 8x7B と Databricks モデルサーヴィングのご紹介

Integrating NVIDIA TensorRT-LLM with the Databricks Inference Stack

2023年12月21日/1分未満

NVIDIA TensorRT-LLMとDatabricks推論スタックを統合する

LLM Inference Performance Engineering: Best Practices

2023年10月12日/2分で読めます

LLM推論パフォーマンスエンジニアリング：ベストプラクティス