BERT

2025年3月7日

OpenAIやAnthropic ,Googleなどの巨大IT企業が新しい大規模LLMモデルを開発し続けているので、一般的な用途ではファインチューニングの必要性はあまり感じられなくなりました。LLM自体がすでに一般人以上 […]

2025年3月5日

ここまでで、Transformerの基本構造と内部の処理について記述してきました。この章では、Transformerを基にした代表的な以下のモデルを取り上げ、どのような違いがあるのか見ていきたいと思います。 5.1 B […]

2023年12月4日

SIGNATEのコンペティションで、文章分類にチャレンジしました。結果はあまり良くありませんでしたが、間違っていること、よくなかったことも含めて、残しておきたいと思います。基本的な処理 GPUの利用以下の一文で、de […]

2023年4月2日

「ChatGPTはなぜ自然な会話ができる様になったのか？」　多くの人が不思議に思うことだと思います。私はAIの研究者ではなくシステム開発者なので、元となる自然言語処理モデルを自分で作ったり、評価したりすることはないと思い […]

2022年7月19日

前回もTransformerの学習済みモデルをLambdaにデプロイしましたが、別の方法を試してみます。今回は、AWS Serverless Application Model(sam)を使っています。同じ目的であれ […]

2022年7月19日

前回、flask で作ったAPIをChaliceを使ってLambdaにデプロイしてみました。この方法は、アプリをzip形式でアップロードします。zip形式は、最大250MBのサイズ制限がありますので、HuggingFa […]