技術ブログ
GPUでのJax/Flaxモデルのロード時メモリエラーの対処法
メモリ少なめなGPUでjax/flaxモデルを使うときのTipsを紹介します
Colab TPUでHuggingface accelerateを用いて文章分類を試してみる
Google ColabのTPUを使ってaccelerate + pytorchモデルで文章分類の学習を試してみました
Colab TPUでtransformers Flax+JAXで文章分類を試してみる
Google ColabのTPUを使ってtransformers Flaxで文章分類の学習を試してみました
transformers v4.10.0のリリース
v4.10系がリリースされました。LayoutLM-v2/LayoutXLMモデルの追加などされました。
sentence transformersで日本語を扱えるモデルのまとめ
2021/9/01現在のsentence transformersで使える公式モデルのうち日本語対応モデルをまとめてみました
transformersで英語から日本語への翻訳
mbartやmarian(FuguMT)を使って英語から日本語への翻訳を試してみました。
huggingface datasetsで使える日本語データセットのまとめ
2021/7/31現在のHuggingFace daatasetsで使える日本語データセットをまとめてみました
tokenizerの学習
transformers v4.9系で導入されたtokenizer学習
transformers v4.9.0のリリース
v4.9系がリリースされました。ONNX形式へのエクスポートやCANINEモデルが追加されています。
transformers v4.8.1のリリース
v4.8系がリリースされました。Hugging Face Hubとの統合やFlax/JAXサポートが強化されているようです。
transformers v4.7.0のリリース
DETR,Roformer,ByT5,HuBERTなどをサポート
transformers Flax+JAXで文章分類を試してみる
transformers Flaxで文章分類の学習をGPUを使っておこなう
transformersでT5,MT5,BYT5の文章要約比較
transformersでT5モデル間で日本語文章要約の比較をしてみました。
transformersでdeepspeedを使ってみる(config編)
transformers+deepspeed(ZeRO-2)のconfigを詳しくみてみる
