# Optimasi server

`transformers serve` menyertakan optimasi untuk meningkatkan throughput dan mengurangi penggunaan memori.

## Batching berkelanjutan

[Continuous batching](../continuous_batching) secara dinamis mengelompokkan dan menyisipkan permintaan untuk berbagi jalur maju (forward pass) pada GPU. Permintaan baru bergabung ke batch saat permintaan lain sedang menjalani prefill. Permintaan yang selesai keluar dari batch setelah decoding. Hal ini meningkatkan utilisasi GPU dan throughput tanpa mengorbankan latensi.

Tambahkan `--continuous-batching` untuk mengaktifkannya.

```sh
transformers serve \
  --continuous-batching \
  --attn-implementation "sdpa"
```

## Kuantisasi

[Quantization](../quantization/overview) mengurangi penggunaan memori dengan memetakan bobot ke presisi yang lebih rendah. `transformers serve` kompatibel dengan semua metode quantization di Transformers. Ia mendukung model yang sudah di-quantize sebelumnya serta quantization saat runtime.

Model yang sudah dikuantisasi sebelumnya tidak memerlukan perubahan apa pun. Model ini menawarkan keseimbangan terbaik antara kinerja dan akurasi. Instal pustaka kuantisasi yang sesuai. Kemudian, teruskan model yang sudah dikuantisasi sebelumnya dari Hub ke argumen `model`.

```sh
curl http://localhost:8000/v1/responses \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-8B-GGUF",
    "stream": true,
    "input": "Tell me a three sentence bedtime story about a unicorn."
  }'
```

Gunakan `--quantization` untuk melakukan kuantisasi model saat runtime. Hal ini berguna untuk checkpoint atau finetune baru yang tidak memiliki bobot yang sudah dikuantisasi sebelumnya. Hanya kuantisasi 4-bit dan 8-bit dari [bitsandbytes](../quantization/bitsandbytes) yang didukung.

```sh
transformers serve \
  --quantization bnb-4bit
```

## Backend perhatian

[Backend attention](../attention_interface) yang dioptimalkan meningkatkan efisiensi memori dan mempercepat inferensi.

```sh
transformers serve \
  --continuous-batching \
  --attn-implementation "flash_attention_2"
```

### Apple Silicon (perhatian kilat Metal)

Dengan `--continuous-batching` di MPS, pasang [kernels](https://github.com/huggingface/kernels) untuk beralih ke [kernels-community/metal-flash-sdpa](https://huggingface.co/kernels-community/metal-flash-sdpa). Eksekusinya 1,66x lebih cepat daripada SDPA dengan `generate_batch` (gsm8k, Qwen2.5-0.5B-Instruct, fp16) dan hasilnya identik per token dengan greedy decoding.

```sh
pip install kernels
transformers serve --continuous-batching
```

Tanpa continuous batching, model mempertahankan attention default (SDPA). Sampaikan `--attn-implementation` untuk mencoba yang lain, seperti `kernels-community/metal-flash-sdpa`.

## Compile

[torch.compile](../perf_torch_compile) menelusuri dan mengompilasi loop decode untuk inferensi yang lebih cepat.

> [!NOTE]
> Compile tidak kompatibel dengan continuous batching.

```sh
transformers serve \
  --compile
```

## Tipe data

Jenis data `"bfloat16"` atau `"float16"` [data types](../models#model-data-type) menghemat memori dan meningkatkan throughput.

```sh
transformers serve \
  --continuous-batching \
  --dtype "bfloat16"
```

