Skymizerは、台湾の台北に本社を置き、コンパイラ技術と最適化ソリューションの専門知識で知られています。最近、同社はエッジAI推論の画期的なイノベーションであるEdgeThoughtを発表しました。この最先端のソフトウェア・ハードウェア共同設計のAI ASIC IPは、エッジでの大規模言語モデル（LLM）の高速化を徹底的に追求しています。先進のコンパイラ技術を中心に据えたEdgeThoughtは、計算、メモリの利用、電力効率、コスト効率の新たな基準を設定し、エッジAIの新時代を告げています。

簡単に言えば、EdgeThoughtは冷蔵庫から自動車などのさまざまなセクターに大きな利益をもたらすように設計されています。

例えば、Skymizerのコンパイラ中心のアプローチを活用すると、このソリューションは最新のLlama3 8Bを含む最先端のエッジLLMモデルをデバイスにシームレスに展開することができます。EdgeThoughtを組み込むだけで、これらのデバイスは瞬時にLLMの機能を統合し、スマートデバイスに変身します。このイノベーションは、私たちがテクノロジーと対話する方法を革新し、日常のデバイスをよりスマートで効率的にします。

特定のデバイスカテゴリーを超えて影響を広げることで、EdgeThoughtを単純に統合するだけで、これらのデバイスにLLMの機能を与えることができ、多くのアプリケーションでスムーズなユーザーエクスペリエンスを実現します。

SkymizerのEdgeThoughtアクセラレータの主なハイライト：

• 最適化されたコンパイラ技術：Skymizerの独自のコンパイラ技術により、ハードウェアの利用率と効率が最適化され、リソース制約のある環境でも優れたパフォーマンスを実現します。
• 高度な計算とメモリの効率性：共同設計アプローチにより、EdgeThoughtはレイテンシを最小限に抑え、スループットを最大化し、メモリのフットプリントを削減することで、エッジでのより高速かつ信頼性の高いLLM推論を可能にします。
• 電力とコストの効率性：EdgeThoughtは、高度なAIモデルの展開に伴う電力消費と運用コストを大幅に削減し、ビジネスに持続可能なスケーラビリティを提供します。
• スケーラビリティと柔軟性：このアクセラレータは、さまざまなサイズとパフォーマンス要件に対応するよう設計されており、複数のユーザーやバッチをサポートすることで、デバイスメーカーやアプリケーション開発者にとって前例のない柔軟性を提供します。

SkymizerのCEOであるJim Laiは、「今日はSkymizerとAIおよびエッジコンピューティング業界にとって画期的な飛躍を意味します。革新的なEdgeThoughtアクセラレータは、エッジAIパフォーマンスの限界を再定義し、アクセスの民主化とコスト効果を確保します。このリリースは、技術の進歩への私たちの揺るぎないコミットメントを示しており、クライアントの力を高め、ユーザーエクスペリエンスを向上させるものです。」

コンパイラと仮想化業界で10年以上の歴史を持つSkymizerの卓越に対する焦点は、EdgeThoughtという、オンデバイスの推論タスクに特化したコンパイラ最適化のLLM ASIC IPに結実しています。トレーニングソフトウェアとハードウェアの必要性を排除することで、EdgeThoughtはオンデバイスのLLM推論のための最優の選択肢となります。SkymizerのCMO兼EVPであるWilliam Weiは、EdgeThoughtを「オンデバイスのLLM推論のゲームチェンジャー」と表現し、成熟したシリコンクラスと特殊メモリコンポーネントとの互換性を強調し、GenAI時代においてメモリ産業を再活性化すると述べています。

EdgeThought IPは現在ライセンス提供されており、既存のハードウェア環境に継ぎ足すことなくシームレスに統合することができます。Skymizerは、先進的な技術の採用を加速するために、主要な半導体企業やデバイスメーカーとの協力関係を築いています。