| Billede | Produkt | Pris | Kapacitet |
|---|
Forståelse af modelkapacitet
Modelkapacitet refererer til antallet af parametre i en AI-model (f.eks. 70B = 70 milliarder parametre). Større modeller kræver generelt mere hukommelse og beregningskraft, men kan give bedre ræsonnering og outputkvalitet.
Præcision (FP16 / FP8 / FP4) påvirker hvor meget hukommelse en given modelkapacitet kræver: lavere-præcisionsformater halverer groft set hukommelseskravene pr. trin ned (FP16 → FP8 → FP4), på bekostning af outputpræcision.
| Modelstørrelse | Typisk hukommelse (FP16) | Typisk hukommelse (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |