Colibri
Colibri ist eine kleine LLM-Engine, die sehr große LLM auf handelsüblicher Hardware ausführen kann. Dafür werden die Model Weights nicht komplett im Arbeitsspeicher gehalten, sondern von einer NVMe-SSD gestreamed.
Colibri ist eine kleine LLM-Engine, die sehr große LLM auf handelsüblicher Hardware ausführen kann. Dafür werden die Model Weights nicht komplett im Arbeitsspeicher gehalten, sondern von einer NVMe-SSD gestreamed.