テーマ、知りたいこと
タイトル通りですが、rinnaやnekoamta、llamaにcyber-agentなど家庭用GPUで動くモデルって結構在ると思うのですが
性能と要求されるスペックなどを考慮するとどれが一番いいと思いますか?
背景、状況
ローカルで言語モデルを動かすって結構ロマン在ると思うのですが、何を使えばいいのか迷っています。
そんなに激強GPUを持っているわけではないので、7B以下で日本語モデルだと何がいいと思いますか?
llama.cppやGPTQの量子化も考慮して皆さんの意見をお聞きしたいです。
0 コメント