なんJLLM部 ★6

1 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:45:05.35 ID:DP+jMU5Y0.net

!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

なんJLLM部 ★5
https://fate.5ch.net/test/read.cgi/liveuranus/1699666391/

---

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:46:02.23 ID:DP+jMU5Y0.net

初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く

3 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:46:51.33 ID:DP+jMU5Y0.net

日本語特化モデル作ってるとこのまとめ
https://huggingface.co/pfnet
https://huggingface.co/stabilityai
https://huggingface.co/elyza
https://huggingface.co/cyberagent
https://huggingface.co/rinna
https://huggingface.co/llm-jp

4 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:47:24.57 ID:DP+jMU5Y0.net

Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki

5 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:48:36.62 ID:DP+jMU5Y0.net

今期待の日本語特化モデル

TheBloke/japanese-stablelm-instruct-beta-70B-GGUF · Hugging Face
https://huggingface.co/TheBloke/japanese-stablelm-instruct-beta-70B-GGUF

6 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:52:33.28 ID:DP+jMU5Y0.net

oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui

7 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:55:20.43 ID:DP+jMU5Y0.net

stabilityai/japanese-stablelm-instruct-gamma-7b
比較的小サイズで高性能なおすすめの日本語モデルやで
https://huggingface.co/stabilityai/japanese-stablelm-instruct-gamma-7b

8 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 03:57:50.79 ID:DP+jMU5Y0.net

●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで

9 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:02:33.65 ID:DP+jMU5Y0.net

⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで

10 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:10:19.94 ID:DP+jMU5Y0.net

⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで

11 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:16:54.30 ID:DP+jMU5Y0.net

⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで

12 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:19:35.69 ID:DP+jMU5Y0.net

高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで

13 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:30:28.44 ID:DP+jMU5Y0.net

モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで

14 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:33:41.05 ID:DP+jMU5Y0.net

70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで

15 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:35:24.62 ID:DP+jMU5Y0.net

18：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff79-XI6K)：2023/11/11(土) 11:13:26.81 ID:0B0rgEfx0
ドライバやミドルウェア周りのインストールがだいたいこんな感じ
https://rentry.co/rd9xf/raw
python3.11を別途入れて基本的にそっちを使っていく

16 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:35:37.93 ID:wk5OpNLL0.net

20までレスせんと即死するんちゃうん？

17 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:36:15.66 ID:wk5OpNLL0.net

あ、すまん 途中だったか

18 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:36:20.31 ID:DP+jMU5Y0.net

7：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ ff7a-EFnx)：2023/11/11(土) 10:54:35.49 ID:Gp6hELJv0
日本語特化モデル以外のおすすめ。これもはっとこ

更新の速い世界だからお勧めモデルも逐次変わっていくけど取りあえず前スレ後半で話題になってたモデルたち(たぶんまだある)
総合力高い系：
Xwin-LM-70B
upstage-Llama2-70B (=poeのSOLOR)
あとは古典だがwizardLMとかairoboros系もまだまだいける
エロ特化系：
spicyboros
Kimiko
Mythomax

19 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:39:07.72 ID:DP+jMU5Y0.net

>>16
せやな

20 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:39:50.98 ID:DP+jMU5Y0.net

はい

21 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 04:40:54.69 ID:wk5OpNLL0.net

お通夜で

22 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 05:26:02.77 ID:KWB0iXgQ0.net

あれ？

23 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9a6a-LMpI)：2023/12/03(日) 08:05:10.08 ID:ChW0QjMu0.net

建て乙やで
前スレなんで突然落ちたん？

24 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/03(日) 11:29:53.71 ID:mEQknOzq0.net

10 今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 7f1d-ZlS5) sage 2023/11/11(土) 11:00:57.86 ID:DSO3hy+d0
Koboldcpp+ggufで動かす時に必要なメインメモリの目安
7Bモデル -> 8GB
13Bモデル -> 16GB
33Bモデル -> 32GB
70Bモデル -> 64GB
180Bモデル -> いっぱい

25 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｵｲｺﾗﾐﾈｵ MMe5-sIVc)：2023/12/04(月) 12:59:58.15 ID:h3zxniHLM.net

switch-c-2048とかいうモデル1.6Tパラメータもあるらしいけど誰向けなんだこれ

26 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/04(月) 13:54:45.63 ID:9oNn0GKF0.net

>>23
荒らしによるスレ乱立で流されたっぽい

27 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/04(月) 16:07:40.47 ID:U6M+9zxo0.net

需要あるか分からんけど、直刺しの4070に加えて、ライザーでPCIEx1に2070S突っ込んでも役目は果たしてる。
max14.9T/sでGPTQ動かす分にはGGUFより数段速いのは間違いないけど、x16との速度比較まではやってない。
Nethena-MLewd-Xwin-23B-GPTQを動かすのに15.3GB食ってるから、8GBを2枚突っ込んだらギリいけるのかもしれん。
当環境では12GB+8GBなので検証はしてない。

28 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/04(月) 18:08:13.83 ID:h3zxniHLM.net

マイニング用のx1を4分岐みたいな環境でもある程度速度出るなら3060x4も可能性が出てくるのかな

29 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/04(月) 18:24:51.35 ID:vrOSKdWK0.net

遊びで買って今は使ってない
マイニングマザー引っ張り出すか……

30 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/06(水) 04:01:57.01 ID:EZENKxxir.net

前スレ急に流れ止まったなと思ったら落ちてた
chmateだと落ちてるって表示すら出んかったから他にも気づいてない人いるかも

31 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/06(水) 19:26:02.75 ID:2Z6xHzHP0.net

OpenBuddy/openbuddy-deepseek-67b-v15.1

最近のは日本語タグついてないやつばっか（readmeすらない）だったが、ひさびさに日本語タグついたのがでてきた。
ニキに依頼するわ
これがいまいちなら、もうここは期待できんかも

TheBloke/deepseek-llm-67b-chat-GGUF
比較のため、本家のこっちを検証しとくか

32 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/07(木) 07:49:24.78 ID:3am8QEYV0.net

TheBloke/deepsex-34b-GGUF
Yiベースにラノベのデータを食わせた　だと？
小説使いとしては試さんわけにいかんな
名前からしてヤヴァそうだしw

33 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 6a11-C9zk)：2023/12/07(木) 11:22:54.45 ID:L3aO9aWY0.net

34bというサイズも手頃だな
帰宅したら試すわ

34 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/07(木) 13:38:27.44 ID:hsdNXR6N0.net

>>32を見て思ったんだが
ネットやサブカルに汚染されてないきちんとした日本語を出すAIって需要ありそうだな

35 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/07(木) 13:49:03.47 ID:Ga1ueXj50.net

poeの契約も切れたし久々にローカルやってみるか

36 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/07(木) 19:51:35.85 ID:bHSO7Oi40.net

>>32
チャットだと全くまともな返答がかえってこないな

37 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/07(木) 20:41:50.69 ID:eG64hqPI0.net

>>36
俺も使ってみたけどイマイチやったわ。プロンプトが悪いんかな

関係ないけど俺の最近の推しモデルを晒しとくわ
TheBloke/Iambe-20B-DARE-GPTQ
TheBloke/Iambe-20B-DARE-GGUF

38 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/08(金) 11:11:33.25 ID:YoJgM1bn0.net

deepsex 小説書かせたら表現が少し破綻するのとすぐエロ展開にもっていこうとする傾向あるな
日本語はダメダメだったが、男のセリフに「お前、エロいな」ってあったのは笑った

39 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ d730-Q+yM)：2023/12/09(土) 01:37:02.31 ID:/vyTb3p60.net

前スレ落ちてたことに今気づいた

40 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 9f6a-FJ+M)：2023/12/09(土) 02:22:20.38 ID:BIYUtn0e0.net

最近　自宅AIチャットに目覚め、ココにたどり着いた
LM Studio
https://lmstudio.ai/

koboldcpp.exe　みたいなやつ　チャット専用アプリ
koboldcpp.exe　よりテキストの吐き出しが早い気がするが、「UESR」「AI」の表示を変える方法が分からず、ついでにアプリの日本語表示にも対応してくれないかメールしてみた

今、エロ様にしてるLLM　second-state/Yi-34B-Chat-GGUF
https://huggingface.co/second-state/Yi-34B-Chat-GGUF/tree/main
18GBくらいで使いやすい、たまに中国語の四字熟語吐き出すが、複雑な言い回しも結構理解してくれる様な気がする。

既に出てたら　無視してくれ

41 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/09(土) 07:54:26.36 ID:kVO4X6gD0.net

>>40
The bloke製もあるんで試して
Yi34b

42 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 1754-noSv)：2023/12/10(日) 01:27:48.75 ID:+M0T2xEl0.net

少し前リーダーボードでトップだった、StellarBright のバージョンアップ版が出てたんで試した

TheBloke/SunsetBoulevard-GGUF

すげーいいわこれ。英語表現がしっかり進化してる。エロも躊躇ない。

43 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2023/12/10(日) 09:53:10.25 ID:cKl8Cl4k0.net

70B動かせる環境ほしいけどなー　俺もなー