Kubernetes および Helm と共に Speech サービス コンテナーを使用する

オンプレミスの音声コンテナーを管理するための 1 つの方法は、Kubernetes と Helm を使用することです。 Kubernetes と Helm を使って音声テキスト変換とテキスト読み上げのコンテナー イメージを定義し、Kubernetes パッケージを作成します。 このパッケージは、オンプレミスの Kubernetes クラスターにデプロイされます。 最後に、デプロイされたサービスをテストする方法と、さまざまな構成オプションについて調べます。 Kubernetes オーケストレーションを使用せずに Docker コンテナーを実行する方法の詳細については、「 Speech Service コンテナーのインストールと実行」を参照してください。

前提条件

オンプレミスの Speech コンテナーを使用する前の前提条件は次のとおりです。

推奨されるホスト コンピューターの構成

Speech Service コンテナー のホスト コンピューターの詳細を参照してください。 この Helm チャート では、ユーザーが指定したデコード (同時要求) の数に基づいて、CPU とメモリの要件が自動的に計算されます。 さらに、オーディオ/テキスト入力の最適化が enabled として構成されているかどうかに基づいて調整されます。 Helm チャートの既定値では、同時要求の数は 2、最適化は無効です。

Kubernetes クラスターに接続する

ホスト コンピューターには使用可能な Kubernetes クラスターがあることが想定されます。 Kubernetes クラスターをホスト コンピューターにデプロイする方法の概念を理解するには、Kubernetes クラスターのデプロイに関するこのチュートリアルを参照してください。

展開に対する Helm チャートの値を構成する

Microsoft が提供するすべての一般公開されている Helm チャートについては、 Microsoft Helm Hub を参照してください。 Microsoft Helm Hub から、 Azure AI Speech On-Premises グラフが表示されます。 Azure AI Speech On-Premises はインストールするグラフですが、最初に明示的な構成でconfig-values.yaml ファイルを作成する必要があります。 最初に、Helm インスタンスに Microsoft リポジトリを追加しましょう。

helm repo add microsoft https://microsoft.github.io/charts/repo

次に、Helm グラフの値を構成します。 次の YAML をコピーし、config-values.yaml という名前のファイルに貼り付けます。 Azure AI Speech On-Premises Helm Chart のカスタマイズの詳細については、Helm チャートのカスタマイズに関するページを参照してください。 # {ENDPOINT_URI} と # {API_KEY} のコメントを独自の値に置き換えます。

# These settings are deployment specific and users can provide customizations
# speech to text configurations
speechToText:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForAudioFile: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/speech-to-text
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

# text to speech configurations
textToSpeech:
  enabled: true
  numberOfConcurrentRequest: 3
  optimizeForTurboMode: true
  image:
    registry: mcr.microsoft.com
    repository: azure-cognitive-services/speechservices/neural-text-to-speech
    tag: latest
    pullSecrets:
      - mcr # Or an existing secret
    args:
      eula: accept
      billing: # {ENDPOINT_URI}
      apikey: # {API_KEY}

Kubernetes パッケージ (Helm チャート)

Helm チャートには、mcr.microsoft.com コンテナー レジストリからプルする Docker イメージの構成が含まれています。

Helm チャートは、Kubernetes リソースの関連セットを記述するファイルのコレクションです。 1 つのチャートを使って、memcached ポッドのような単純なものや、HTTP サーバー、データベース、キャッシュなどを含む完全な Web アプリ スタックのような複雑なものを、展開できます。

提供されている "Helm Chart" では、テキスト読み上げサービスと音声テキスト変換サービス両方の音声サービスの Docker イメージが、 コンテナー レジストリからプルされます。mcr.microsoft.com

Kubernetes クラスターに Helm チャートをインストールする

Helm グラフをインストールするには、helm install コマンドを実行し、<config-values.yaml> を適切なパスとファイル名の引数に置き換えます。 microsoft/cognitive-services-speech-onpremise Helm チャートは、Microsoft Helm Hub で入手できます。

helm install onprem-speech microsoft/cognitive-services-speech-onpremise \
    --version 0.1.1 \
    --values <config-values.yaml> 

インストールが正常に実行されると表示される出力の例を次に示します。

NAME:   onprem-speech
LAST DEPLOYED: Tue Jul  2 12:51:42 2019
NAMESPACE: default
STATUS: DEPLOYED

RESOURCES:
==> v1/Pod(related)
NAME                             READY  STATUS             RESTARTS  AGE
speech-to-text-7664f5f465-87w2d  0/1    Pending            0         0s
speech-to-text-7664f5f465-klbr8  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-4jtzh  0/1    ContainerCreating  0         0s
neural-text-to-speech-56f8fb685b-frwxf  0/1    Pending            0         0s

==> v1/Service
NAME            TYPE          CLUSTER-IP    EXTERNAL-IP  PORT(S)       AGE
speech-to-text  LoadBalancer  10.0.252.106  <pending>    80:31811/TCP  1s
neural-text-to-speech  LoadBalancer  10.0.125.187  <pending>    80:31247/TCP  0s

==> v1beta1/PodDisruptionBudget
NAME                                MIN AVAILABLE  MAX UNAVAILABLE  ALLOWED DISRUPTIONS  AGE
speech-to-text-poddisruptionbudget  N/A            20%              0                    1s
neural-text-to-speech-poddisruptionbudget  N/A            20%              0                    1s

==> v1beta2/Deployment
NAME            READY  UP-TO-DATE  AVAILABLE  AGE
speech-to-text  0/2    2           0          0s
neural-text-to-speech  0/2    2           0          0s

==> v2beta2/HorizontalPodAutoscaler
NAME                       REFERENCE                  TARGETS        MINPODS  MAXPODS  REPLICAS  AGE
speech-to-text-autoscaler  Deployment/speech-to-text  <unknown>/50%  2        10       0         0s
neural-text-to-speech-autoscaler  Deployment/neural-text-to-speech  <unknown>/50%  2        10       0         0s


NOTES:
cognitive-services-speech-onpremise has been installed!
Release is named onprem-speech

Kubernetes の展開が完了するには数分かかります。 ポッドとサービスの両方が適切に展開されて使用可能なことを確認するには、次のコマンドを実行します。

kubectl get all

次のような出力結果が表示されます。

NAME                                  READY     STATUS    RESTARTS   AGE
pod/speech-to-text-7664f5f465-87w2d   1/1       Running   0          34m
pod/speech-to-text-7664f5f465-klbr8   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-4jtzh   1/1       Running   0          34m
pod/neural-text-to-speech-56f8fb685b-frwxf   1/1       Running   0          34m

NAME                     TYPE           CLUSTER-IP     EXTERNAL-IP      PORT(S)        AGE
service/kubernetes       ClusterIP      10.0.0.1       <none>           443/TCP        3h
service/speech-to-text   LoadBalancer   10.0.252.106   52.162.123.151   80:31811/TCP   34m
service/neural-text-to-speech   LoadBalancer   10.0.125.187   65.52.233.162    80:31247/TCP   34m

NAME                             DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/speech-to-text   2         2         2            2           34m
deployment.apps/neural-text-to-speech   2         2         2            2           34m

NAME                                        DESIRED   CURRENT   READY     AGE
replicaset.apps/speech-to-text-7664f5f465   2         2         2         34m
replicaset.apps/neural-text-to-speech-56f8fb685b   2         2         2         34m

NAME                                                            REFERENCE                   TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
horizontalpodautoscaler.autoscaling/speech-to-text-autoscaler   Deployment/speech-to-text   1%/50%    2         10        2          34m
horizontalpodautoscaler.autoscaling/neural-text-to-speech-autoscaler   Deployment/neural-text-to-speech   0%/50%    2         10        2          34m

Helm テストで Helm の展開を検証する

インストールされている Helm チャートでは、検証の利便性を高める Helm テストが定義されています。 これらのテストでは、サービスの準備状態が検証されます。 音声テキスト変換機能とテキスト読み上げ機能の両方を確認するために、 Helm テスト コマンドを実行します。

helm test onprem-speech

これらのテストでは、さまざまな状態の結果が出力されます。

RUNNING: speech to text-readiness-test
PASSED: speech to text-readiness-test
RUNNING: text to speech-readiness-test
PASSED: text to speech-readiness-test

helm テストを実行する代わりに、kubectl get all コマンドから外部 IP アドレスと対応するポートを収集することもできます。 IP とポートを使用して、Web ブラウザーを開き、http://<external-ip>:<port>:/swagger/index.html に移動して、API Swagger ページを表示します。

Helm チャートをカスタマイズする

Helm チャートは階層的です。 階層的であるためチャートを継承できます。また、特異性の概念に対応するので、継承された規則はいっそう固有の設定によってオーバーライドされます。

音声 (アンブレラ チャート)

最上位レベル「アンブレラ」チャートの値は、対応するサブチャートの値を上書きします。 そのため、オンプレミスでカスタマイズされたすべての値をここで追加する必要があります。

音声テキスト変換 (サブチャート: charts/speechToText)

「アンブレラ」チャートを上書きするには、任意のパラメーターに speechToText. プレフィックスを追加して限定します。 たとえば、speechToText.numberOfConcurrentRequest が numberOfConcurrentRequest を上書きするように、対応するパラメーターを上書きします。

センチメント分析 (サブチャート: charts/speechToText)

音声テキスト変換コンテナー v2.2.0 および Helm Chart v0.2.0 以降、Language service API を使用した感情分析には、次のパラメーターが使用されています。

テキスト読み上げ (サブチャート: charts/textToSpeech)

「アンブレラ」チャートを上書きするには、任意のパラメーターに textToSpeech. プレフィックスを追加して限定します。 たとえば、textToSpeech.numberOfConcurrentRequest が numberOfConcurrentRequest を上書きするように、対応するパラメーターを上書きします。

次のステップ

Azure Kubernetes Service (AKS) での Helm を使用したアプリケーションのインストールの詳細については 、こちらを参照してください。