驚異の速さ対話型AIチャット「GroqChat」について

とにかく速い、凄い速さです。プロンプトを入れると300トークン/秒の速さで回答して呉れます。最大は800トークン/秒です。プログラムのコードを書かせるとよくわかります。「テトリスのコードを書いてください」と入力すると凄い速さで書いてくれます。楽しくなってくる速さです。遊びたくなる対話型AIチャットです。
大規模言語モデル(LLM)は下記の3種類が使えるようになっています。
Gemma-7b-It: Available
Llama2-70b-4096: Available
Mixtral-8x7b-32768: Available

無料のLLMです。速さは爆発的ですが、内容はChatgpt3.5程度の精度です。回答の中身は驚異的ではないですが、今後どんどん進化してくれると思いますので、無料で使える対話型AIチャットとして使えるのではないかと思います。

この対話型AIは元GoogleエンジニアJonathan Ross氏が2016年に創業したスタートアップgroqによって作られました。groqはコンピューティングコスト〝ゼロ〟を目指すAIチップスタートアップとの事です。チップ開発のためにAIを使用してフォーパマンスを測定するための、AIは副産物なのではないかと思われます。現時点では英語で答えること、日本語は苦手でちょっとおかしな日本語を出力しています。英語で聞いて英語で答えをもらう方がすっきりしますね。

AI業界に革命をもたらすGroqの「言語処理ユニット(LPU)」が、いまや誰でも無料で、かつ登録不要でアクセス可能なアルファ版デモンストレーションを公開しました。この技術は、従来のGPT-4を遥かに凌ぐ驚異の300トークン/秒の処理速度を誇り、大規模言語モデル(LLM)の処理速度の新たな標準を打ち立てることでしょう。AIとLLMの未来を塗り替えるGroqのLPUに、今すぐ無料で触れるチャンスをお見逃しなく。

GroqのLPU：特徴と革新性
高性能アーキテクチャ：ASICに匹敵する高度に最適化された設計で、不必要な論理を排除し、生の並列スループットを実現。
コンパイラー主導の最適化：ソフトウェアとハードウェアの間に位置するコンパイラーが、TensorFlowなどのフレームワークからの命令を解析・最適化し、ニューラルネットワークグラフを効率的に処理。
圧倒的な速度：Groqのデモンストレーションによると、既存のLLMよりも最大10倍高速に動作し、Llama-2 70Bモデルを利用時には300トークン/秒以上の処理速度を達成。

爆速すぎて笑ってしまうAIチャット「GroqChat」を見てほしい。 - YouTube
https://www.youtube.com/watch?v=UQr9yuNgVYk

GroqChat「グロクチャット」
https://groq.com/