https://github.com/jncraton/languagemodels
GitHub - jncraton/languagemodels: Explore large language models in 512MB of RAM
Explore large language models in 512MB of RAM. Contribute to jncraton/languagemodels development by creating an account on GitHub.
github.com
상용인듯 한데 그래도 쉽게 써볼 있는 장점이 있다.
max_ram 을 512M ~ 8G 까지 조정해서 여러 모델을 쉽게 사용할 수 있는듯.
max_ram
| 0.5 | LaMini-Flan-T5-248M | 0.248 |
| 1.0 | LaMini-Flan-T5-783M | 0.783 |
| 2.0 | LaMini-Flan-T5-783M | 0.783 |
| 4.0 | flan-alpaca-gpt4-xl | 3.0 |
| 8.0 | openchat-3.5-0106 | 7.0 |
'컴퓨터 이야기~ > 소프트웨어' 카테고리의 다른 글
| 윈도우에서 cmd 로 디스크 속도 측정 (0) | 2024.10.20 |
|---|---|
| WSL2 port forwarding script (0) | 2024.09.30 |
| 윈도우 10 - 잠금 배경 화면 사용 안하기 (0) | 2024.07.14 |
| 이미지 뷰어 - FastStone (0) | 2024.06.15 |
| js obfuscator (0) | 2024.06.06 |
