https://github.com/jncraton/languagemodels
GitHub - jncraton/languagemodels: Explore large language models in 512MB of RAM
Explore large language models in 512MB of RAM. Contribute to jncraton/languagemodels development by creating an account on GitHub.
github.com
상용인듯 한데 그래도 쉽게 써볼 있는 장점이 있다.
max_ram 을 512M ~ 8G 까지 조정해서 여러 모델을 쉽게 사용할 수 있는듯.
max_ram
| 0.5 | LaMini-Flan-T5-248M | 0.248 |
| 1.0 | LaMini-Flan-T5-783M | 0.783 |
| 2.0 | LaMini-Flan-T5-783M | 0.783 |
| 4.0 | flan-alpaca-gpt4-xl | 3.0 |
| 8.0 | openchat-3.5-0106 | 7.0 |
