複数のカラム内の値を1つづつ組み合わせてデータセットを作りたい

実現したいこと

複数の説明変数の各々のカラム内にあるすべての値を、カラムごとに組み合わせて網羅計算し、データセットをつくりたい。CPUをグレードアップさせる以外の方法でカーネルがクラッシュせずに計算したい。
1つのセルの中で計算しているのが問題だと考えたが、どこでセルを分ければいいかわからない。

前提

たとえば
複数の説明変数のカラムa,b,cがあり、
a=[1,2,3]
b=[10,20,30]
c=[100,200]

という値がある。
(実際には各々に20個ほどの値が入っており、カラム数も3つではなく7つです。)

(1,10,100),(1,10,200),(1,20,100),(1,20,200),(2,10,100)・・・
このように組み合わせたデータセットを作りたい。

発生している問題・エラーメッセージ

計算中にカーネルがクラッシュする

エラー文は出ず、カーネルが計算中にクラッシュする

該当のソースコード

Python

1aa,bb,cc= np.meshgrid(a,b,c)2all_data = np.c_[aa.flatten(),bb.flatten(),cc.flatten()]3all_data_df = pd.DataFrame(all_data, columns= ["a","b","c"])

試したこと

コンピューティングインスタンスをグレードアップしたが解決しなかった。

補足情報(FW/ツールのバージョンなど)

AzureMLを使用している。

また、コードをGPUに対応するためにcuMLをインストールしているが5時間かかっても、インストールが終わらない。
以下ソースコードです
conda install -c rapidsai -c nvidia -c conda-forge cuml
import cuml
from cupy import asnumpy
from joblib import dump, load

コメントを投稿

0 コメント