自宅PCで巨大AIが高速動作？　ノートPCで350億、プロ向けGPU1枚で7530億パラメータのAIモデルを非公式量子化なしで動かす無償ツール「FreeToken」など生成AI技術5つを解説（生成AIウィークリー）

この記事についての感想

いまの生成AI界隈って進歩が早すぎてマジで脳みそ追いつかないよな。自宅のローカル環境でそんなバケモンみたいな巨大モデルが動いちゃうなんて、昔じゃちょっと考えられなかった未来がガチで到来してるわ。ノートPCで数千億規模のパラメータを非公式量子化なしで回せるとか、個人の限界突破しすぎだろってツッコミ入れたくなるレベル。こういう無償の神ツールが出てくると、もうクラウドに課金する意味ってなんだっけってレベルで個人開発のハードルが下がって草しか生えない。プロ向けのGPUを駆使して自宅でゴリゴリにAI動かす猛者たちがこれから続出するだろうし、オープンソース界隈のこういう底知れないパワーにはマジでビビらされる。