なんJLLM部 ★7

1 ：LLM ：2024/03/16(土) 12:50:10.78 ID:MHa9NR2/0.net

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705 ​
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

---

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2024/03/16(土) 12:51:03.65 ID:MHa9NR2/0.net

初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く

3 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:51:36.90 ID:MHa9NR2/0.net

日本語特化モデル作ってるとこのまとめ
https://huggingface.co/pfnet
https://huggingface.co/stabilityai
https://huggingface.co/elyza
https://huggingface.co/cyberagent
https://huggingface.co/rinna
https://huggingface.co/llm-jp

4 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:52:00.96 ID:MHa9NR2/0.net

Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki

5 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:52:21.34 ID:MHa9NR2/0.net

今期待の日本語特化モデル

TheBloke/japanese-stablelm-instruct-beta-70B-GGUF · Hugging Face
https://huggingface.co/TheBloke/japanese-stablelm-instruct-beta-70B-GGUF

6 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:52:41.28 ID:MHa9NR2/0.net

oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui

7 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:53:08.66 ID:MHa9NR2/0.net

stabilityai/japanese-stablelm-instruct-gamma-7b
比較的小サイズで高性能なおすすめの日本語モデルやで
https://huggingface.co/stabilityai/japanese-stablelm-instruct-gamma-7b

8 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:53:43.22 ID:MHa9NR2/0.net

●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで

9 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:54:04.46 ID:MHa9NR2/0.net

⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで

10 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:54:23.28 ID:MHa9NR2/0.net

⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで

11 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:54:42.64 ID:MHa9NR2/0.net

⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで

12 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:55:01.28 ID:MHa9NR2/0.net

高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで

13 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:55:20.12 ID:MHa9NR2/0.net

モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで

14 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:55:37.14 ID:MHa9NR2/0.net

70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで

15 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:56:06.77 ID:MHa9NR2/0.net

18：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff79-XI6K)：2023/11/11(土) 11:13:26.81 ID:0B0rgEfx0
ドライバやミドルウェア周りのインストールがだいたいこんな感じ
https://rentry.co/rd9xf/raw
python3.11を別途入れて基本的にそっちを使っていく

16 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:56:33.33 ID:MHa9NR2/0.net

7：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7a-EFnx)：2023/11/11(土) 10:54:35.49 ID:Gp6hELJv0
日本語特化モデル以外のおすすめ。これもはっとこ

更新の速い世界だからお勧めモデルも逐次変わっていくけど取りあえず前スレ後半で話題になってたモデルたち(たぶんまだある)
総合力高い系：
Xwin-LM-70B
upstage-Llama2-70B (=poeのSOLOR)
あとは古典だがwizardLMとかairoboros系もまだまだいける
エロ特化系：
spicyboros
Kimiko
Mythomax

17 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 12:57:30.24 ID:MHa9NR2/0.net

普段スレ立てないから不備があったらすまん
とりあえず前スレのテンプレ通り

18 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 13:02:49.29 ID:MHa9NR2/0.net

日本語モデルも増えてきたので、少し情報不足感は否めないけど

19 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｻｻｸｯﾃﾛﾗ Sp91-EkuC)：2024/03/16(土) 13:10:33.53 ID:DP3HRFRVp.net

乙
即落ち20だっけ？

20 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 13:18:18.79 ID:MHa9NR2/0.net

そうだったな
伸ばしとくか

21 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 13:24:02.55 ID:MHa9NR2/0.net

日本語特化LLMとして、最低でもSwallowとKarakuriLMは追加していいような気がするけどどう？

22 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 82cf-3ruA)：2024/03/16(土) 13:32:29.99 ID:QiiKRTRB0.net

いいと思う。
ご新規さんが>>3だけ試してもガッカリだろうし

23 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd02-3Z5R)：2024/03/16(土) 13:38:58.25 ID:++PQcIT/d.net

おっつ
マージ環境の構築に挑戦したけどすごく難しい
でもなんとか量子化までできるようになった
疲れた...

24 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 13:43:01.76 ID:MHa9NR2/0.net

最近出てきた日本語モデル
どっちも割と自然な会話ができるし、エロもいける
今はこっちが主流なので、まずこっから始めるのもありや
小型のモデルとか量子化モデルもHFにあるから、VRAMが心配なやつはそっちを試してくれ

KARAKURI LM
https://huggingface.co/karakuri-ai/karakuri-lm-70b-v0.1
Swallow
https://huggingface.co/tokyotech-llm/Swallow-70b-instruct-hf

25 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ed6d-D2DL)：2024/03/16(土) 13:43:13.64 ID:MHa9NR2/0.net

他、性能が高く一応日本語も使えるレベルのモデルたち
Qwen 1.5
https://huggingface.co/Qwen/Qwen1.5-72B-Chat
miqu-1-70b(Mistral Mediumのリークモデル)
https://huggingface.co/miqudev/miqu-1-70b
MiquMaid(miquベースのNSFW finetunedモデル)
https://huggingface.co/NeverSleep/MiquMaid-v2-70B