Huggingface

サーバ開発
Hugging FaceのInference Endpointを使って推論サーバを構築する

Transformerの推論モデルを自作のソフトウエアから使う方法は、いくつかの選択肢があります。以前の記事では、AWSのLamdaにモデルをデプロイする方法を紹介しました。 昨日、Hugging Faceからメールが届 […]

続きを読む
サーバ開発
Transformerの学習済みモデルをLambdaにデプロイする(SAM)

前回もTransformerの学習済みモデルをLambdaにデプロイしましたが、別の方法を試してみます。 今回は、AWS Serverless Application Model(sam)を使っています。 同じ目的であれ […]

続きを読む
サーバ開発
Transformerの学習済みモデルをLambdaにデプロイする

前回、flask で作ったAPIをChaliceを使ってLambdaにデプロイしてみました。 この方法は、アプリをzip形式でアップロードします。zip形式は、最大250MBのサイズ制限がありますので、HuggingFa […]

続きを読む
クライアント開発
応答生成モデルの実装

構成の選択 一番最初の記事に記載した通り、iOSのアプリケーションから「発話」をテキストで送信すれば「応答」をテキストで返す様にしたいと思います。 このwebAPIを実装する方法として、大きく2種類あります。 1つは、H […]

続きを読む
クライアント開発
応答生成モデルの学習(Text-to-Text Transfer Transformer)

ユーザの発話テキストに対して、応答テキストを生成させるためのモデルを作ります。 T5 (Text-to-Text Transfer Transformer) チャットボットを作るときに必要となるモデルは、Text to […]

続きを読む