🚨 自分のコンピュータが実際にどのAIモデルを動かせるかを推測するのはやめましょう。 このツールはハードウェアをスキャンし、どのLLMが動作するかを正確に教えてくれます。一つの命令。 それはLLMfitと呼ばれています。 497モデル。133人の提供者。RAM、CPU、GPUをチェックし、すべてのモデルを適合するものでランク付けします。 70Bモデルをダウンロードしてクラッシュを見る必要はありません。 その仕組みは以下の通りです: → あなたのハードウェア(NVIDIA、AMD、Intel Arc、Apple Silicon)を正確に検出します。 → 記憶に合った最適な量子化を選ぶ → すべてのモデルに品質、スピード、フィット感、コンテキストの長さを評価します → マルチGPUセットアップおよびMoEアーキテクチャを自動的に処理します → Ollamaに接続しているので、最高の試合を即座にダウンロードできます ここが一番驚くべき部分です: Mixtral 8x7Bの総パラメータは46.7Bです。ほとんどのツールは24GBのVRAMが必要だと考えています。しかし、トークンあたりアクティブなパラメータは12.9億のみです。LLMFITはこれを知っています。実際の必要量は~6.6GBとされています。 その一つの機能だけで、動かせないと思っていたモデルをアンロックできます。 brew install LLMFit 6.5K GitHub スター。内蔵錆。MITライセンス。 100%オープンソース。