Flower AI と Vana が分散トレーニング大型モデル Collective-1 を開始

Foresight Newsによると、Wiredによれば、AIスタートアップのFlower AIは、分散方式でトレーニングされた大型言語モデルであるCollective-1をVanaと共同で立ち上げました。

このモデルは世界中に配置されたGPU上で動作し、従来のデータセンターに依存せず、X、Reddit、およびTelegramからのユーザープライベートデータを組み込んでいます。

Collective-1は現在70億パラメーターを持ち、ChatGPTやClaudeなどの最先端モデルよりもかなり小さいですが、Flowerは300億パラメーターのモデルのトレーニングを準備しており、今年中に1000億パラメーターに近いバージョンをリリースする予定だと述べています。