機械学習

polarsのDatetime操作にはoffset_byという話

皆さんこんにちは。機械学習エンジニアのwasatingです。 今回も皆さんおなじみpolarsのtips話をしたいと思います。というかタイトルに書いてある通りなんですが… データ分析をする際や、時系列でtrain, testを分割する際に、最新の日付から一定期間等の区切…

ハイパラ設定だけじゃない!hydraで始めるconfig管理

こんにちは。機械学習エンジニアのwasatingです。 皆さんはhydra使っていますか? コマンドラインでハイパラの設定ができることから、機械学習の実験を回す際に重宝するため、私も今更ながら活用し始めました。 活用していく中で、細かいconfigの設定にも便…

polarsでhard negativeのtripletを作成する

皆さんこんにちは。 機械学習エンジニアのwsatingです。 最近openAIが公開したAssistant APIでこれまで以上にRAGが簡単にできるようになってきましたね。 そんな最近の潮流から逆行(?)して今回はRetrieveでよく使われるsentence BERTのfine tuningに使われ…

polars.selectorsを使ったカラム操作

皆さんこんにちは。 機械学習エンジニアのwasatingです。 今年に入ってから、DS/ML界隈でスタンダードであったpandasから、polarsに乗り換える人が増え始めていると思いますが、皆さんはいかがでしょうか。 私も例に漏れずプライベートでの開発時は完全にpol…

SageMakerとGradioを使ってGPTの簡易デモを作る

皆さんこんにちは。wasatingです。 ここしばらく生成モデル関連の話があちこちでされ、ChatGPTをはじめとして、大きな流れができているなあと思っています。 また、HuggingFaceに日本語向けでオープン化されたGPTシリーズがアップロードされるなど、個人で使…

poetryで管理したPoCで重複しがちなパッケージ管理を改善する

こんにちは 株式会社インゲージの機械学習エンジニアのwasatingです。 皆さんpoetry使ってますか? PoCで様々な環境を作って実験をする際に仮想環境が簡単に作れて、インストールしたパッケージも勝手に管理してくれるので私も大変重宝しています。 が、しか…

Ryzen で機械学習

こんにちは、masm11 です。 私は以前、機械学習を勉強したことがありまして、 CPU での機械学習を実装したり NVIDIA GPU で実装したりは経験があったのですが、 Ryzen APU での実装は経験がなく、せっかく手元に実機があるので、やってみました。 ハードウェ…

# GINZAを使う

こんにちは。ksr_cyclです。 今日は私が良く使うNLPのライブラリであるGINZAを紹介します。 GINZAはMegagon Labsと国立国語研究所との共同研究成果をオープンソースで公開したことから始まった、日本語NLPライブラリです。 GINZAにはさまざまな機能がありま…

SageMaker Studio Labを触る

こんにちは。ksr_cyclです。 少し前にアカウント作成を行い、そのままになっていたので、 今日はSageMaker Studio Labを触ってみたいと思います。 SageMaker Studio Lab 似たようなサービスでGoogle Colaboratoryがありますが、現在はPreview版ということも…

tensorflow が遅くなる話

masm11 です。 最近、tensorflow を使って機械学習しています。 tensorflow がだんだん遅くなることがあって、気づいたことがあるので、書いてみます。 ただし、以下は私の想像であることをはじめにお断りしておきます。 まず、 a = tf.Variable(...) b = tf…