実現したいこと
複数の説明変数の各々のカラム内にあるすべての値を、カラムごとに組み合わせて網羅計算し、データセットをつくりたい。CPUをグレードアップさせる以外の方法でカーネルがクラッシュせずに計算したい。
1つのセルの中で計算しているのが問題だと考えたが、どこでセルを分ければいいかわからない。
前提
たとえば
複数の説明変数のカラムa,b,cがあり、
a=[1,2,3]
b=[10,20,30]
c=[100,200]
という値がある。
(実際には各々に20個ほどの値が入っており、カラム数も3つではなく7つです。)
(1,10,100),(1,10,200),(1,20,100),(1,20,200),(2,10,100)・・・
このように組み合わせたデータセットを作りたい。
発生している問題・エラーメッセージ
計算中にカーネルがクラッシュする
エラー文は出ず、カーネルが計算中にクラッシュする
該当のソースコード
Python
1aa,bb,cc= np.meshgrid(a,b,c)2all_data = np.c_[aa.flatten(),bb.flatten(),cc.flatten()]3all_data_df = pd.DataFrame(all_data, columns= ["a","b","c"])
試したこと
コンピューティングインスタンスをグレードアップしたが解決しなかった。
補足情報(FW/ツールのバージョンなど)
AzureMLを使用している。
また、コードをGPUに対応するためにcuMLをインストールしているが5時間かかっても、インストールが終わらない。
以下ソースコードです
conda install -c rapidsai -c nvidia -c conda-forge cuml
import cuml
from cupy import asnumpy
from joblib import dump, load

0 コメント