Apple Mac Studio MHL64J/A [シルバー] 価格比較

AIがマシン壊しにきてもいいよう、モデル動作環境をVMに持っていきました。 MacではParallels上のVMを使い、WindowsではWSLにOpenCodeの組み合わせで環境を分離していこうと思います。 負荷を調べていて、モデルやランタイムにもよるけど思ったよりCPU使われないことに気がつきました。 LM Studio＋LagunaS2.1はバランス型だけど、DowarfStar4+GLM5.3 FlashはほぼGPUしか動かず（MLXばっかり使ってるのもあるんだろうけど）。 LLMサーバー上でVMかませてもそこそこ速度が出るので、１台で事足りてしまいそうです。

モノが届いたので、早速試してみました。 GLM-5.3-FlashのAJ-IQ3_XXS版を、128 GiBメモリのMac Studioで検証。 モデルは合計112.4 GBのGGUF 3ファイル。 ランタイムにはMetal対応の llama.cpp を使用し、コミット 1d0c76f3c、llama-server 0.3.0-dev（build 10791）に固定しました。 起動条件は -ngl 99 -ncmoe 20 -fa on -c 8192 -np 1 -b 512 -ub 128 -ctk q8_0 -ctv q8_0 --jinja。サーバーは 127.0.0.1:8080 で待ち受け、単一スロット・単一リクエストずつ試験しました。 算術、ログからの値の抽出、本文にない情報を推測しない応答、会話履歴の参照、120・300・500・650行のデータからの位置別検索を実施。テストした全てのケースで期待した回答が得られました。長文検索の実測値は次のとおりです。 入力データ入力tokens入力処理速度生成速度応答時間結果 120行1,32829.04 tokens/秒14.77 tokens/秒約52秒正答 300行3,30735.64 tokens/秒13.86 tokens/秒約100秒正答・切り詰めなし 500行5,50732.90 tokens/秒13.06 tokens/秒約176秒正答・切り詰めなし 650行7,15746.62 tokens/秒12.26 tokens/秒約162秒正答・切り詰めなし メモリ圧迫は試験中に緑と黄色を往復。スワップ使用量の観測値は、650行試験の前後で 71.31M → 113.81M でした。 この構成では、少なくとも7,157入力tokensの単発リクエストで正しい応答を生成できました。 ただしこれは各条件1回ずつの合成データ試験です。

Mac Studio M5(128GB) + Mac Studio M4 (36GB) をTB5で接続し、MLXで分散実行できるかを確認してみた。 mlx.distributed_config` が生成したJACCLホストファイル(対称性確認済み)を用いて、`all_sum` を両rankで実行: ```json { "backend": "jaccl", "envs": ["MLX_METAL_FAST_SYNCH=1"], "hosts": [ { "ssh": "Mac-Studio-M5.local", "ips": ["192.168.10.106"], "rdma": [null, "rdma_en4"] }, { "ssh": "Mac-Studio-M4.local", "ips": ["192.168.10.107"], "rdma": ["rdma_en5", null] } ] } ``` rank=0 size=2 sum=array([2, 2, 2, ..., 2, 2, 2], dtype=float32) rank=1 size=2 sum=array([2, 2, 2, ..., 2, 2, 2], dtype=float32) all_sum(ones(10))が2ノードで2を返したので、JACCL over RDMA の初期化と集団通信が成立したと判断。 Llama-3.2-3B-Instruct-4bitで分散推論もOK mlx.launch --hostfile ~/cluster-jaccl.json -- mlx_lm.chat --model mlx-community/Llama-3.2-3B-Instruct-4bit --max-tokens 128 でチャットREPLを起動し、日本語プロンプトに対する応答トークン生成を確認: >> 簡単に自己紹介して 私は、AIのコンポーネントです。... 私の知識は、2023年12月までに更新されました。 他、自作ベンチでちょびっとトークン生成させての簡易測定では、 M4 単ノード : 236.0 tok/s M5 単ノード : 344.1 tok/s TP×2 : 178.2 tok/s. こんな感じ。 とりまこれでクラスタでも動かせることが確認できて一安心。