複雑な音声を処理するSoCを目的としたニューラルネットワークIP

ユーザーがマイクから数メートル離れている遠距離音声認識には、リソースで十分です。音声制御のデジタルホームアシスタントや自動車のインフォテインメントは、意図されたアプリケーションです。

ローカルPCB上で音声を処理するのはなぜですか？

「ニューラルネットワークベースの音声認識アルゴリズムは、待ち時間、プライバシー、ネットワークの可用性の問題から、クラウドではなくローカルでより多くのタスクを実行しています」とCadence氏は述べています。

HiFi 5と呼ばれるそれは、以前のHiFi 4 DSPの2倍のオーディオ処理能力と4倍のニューラルネットワーク（NN）処理を持っています。

ケイデンスのマーケティングディレクター、Gerard Andrews氏は、Electronics Weeklyに次のように語っています。 「私たちはオープンソースの音声認識ニューラルネットワークを調査し、そのような種類のネットワークを実行するようにHiFi 5を設計しました。

処理要素は次のとおりです。

• 1サイクルあたり2つの128ビットロードを発行可能な5つの超長命令語（VLIW）スロットアーキテクチャ
• DSP乗算アキュムレータ：
  8 32 x 32ビットMAC /サイクルまたは16 16 x 16ビットMAC /サイクルのサポート
  サイクルごとにオプションの8つの単精度浮動小数点MAC
• ニューラルネットワーク乗算アキュムレータ：
  32 16×8 MAC /サイクルまたは16×4 MAC /サイクル
  サイクルごとに16個の半精度浮動小数点MAC（オプション）

Andrewsによると、DSPのMACは、例えば、彩度のサポートを含み、ニューラルネットワークのMACは、ベクトル値を行列で乗算するために最適化されています。 「非常に多くのニューラルネットワークでは、ベクトルと行列を掛け合わせるのに多大な時間を費やすことになります」と彼は付け加え、次のように付け加えました。 HiFi 4のお客様との仕事に基づきます。

浮動小数点演算は、ビーム形成とエコーキャンセルのためのボーカルフロントエンドのための単精度と、いくつかのニューラルネットワークのための半精度の2つのユースケースに組み込まれています。 Andrews氏は次のように述べています。 「たとえば、MatLabで浮動小数点を開発する場合、それを固定小数点に変換するのは非常に時間がかかります。」

乗算器は8ビットの重みをサポートしています。 Andrews氏は次のように述べています。 「ほとんどのアルゴリズムは、マイクからのデータ用に16ビット、ウェイト用に8ビットの16×8ビット乗数を利用すると予想されます。」

他の重み付け方式については、４ビット、２ビットおよび１ビット動作が８ビットと同様に利用可能である。

電力を節約するために「サブスレッショルド」シリコンプロセスに基づいて製造されたマイクロコントローラの製造元であるAmbiq Microは、HiFi 5の最初の顧客でした。

「計算集約型のニューラルネットワークベースの遠距離処理と音声認識アルゴリズムをエネルギーに敏感な機器に搭載するという非常に困難な課題を解決するために、Ambiq Microは、CadenceのHiFi 5 DSPの最初のシリコンライセンシーに選ばれました」アーロングラシアン。 「HiFi 5 DSPをAmbiq Microのサブスレッショルドの電力最適化プラットフォームに移植することで、製品設計者、ODM、およびOEMは、音声アシスタントの統合、コマンドと制御を追加することで、DSP ConceptsやSensoryなどのオーディオソフトウェアリーダーのテクノロジを最大限に活用できます。品質やバッテリー寿命を犠牲にすることなく、携帯型モバイル製品への会話型UIを実現します。」

知的財産をサポートするために、特に音声処理のために、ニューラルネットワーク処理で一般的に使用される最適化されたライブラリ関数のライブラリがあります。これらの機能は、一般的な機械学習フレームワーク内での統合を目的としています。

HiFi 5は、既存のオーディオコーデック、ボイスコーデックのライブラリ、オーディオエンハンスメントソフトウェアパッケージとも互換性があり、以前のバージョンのHiFi製品群に最適化されています。