深層学習はどこを見ているのか

質問したいこと

素人質問失礼いたします。
現在google colaboratory上であるサイトのコードを使って画像分類をしています。
練習で犬と猫の画像を学習させ、画像分類もできるようになりました。今は学習させる枚数や回数を変えて精度の向上などを試していますが、どの特徴を見ているのか可視化したいと思うようになりました。
そこで最近Grad-camという、入力画像に対して画像のどの部分が予測に最も影響を与えたかをヒートマップとして出力することで可視化できること知りました。
試したことといたしましては、色々なサイトのGrad-camに関するgithubを自分なりに変えてみたりしましたが、プログラミング初心者であるため、本当にそこを変えるべきかの判断が全くできない状況です。
人任せの質問ではありますが、プログラミングが詳しい方々のお力をお貸しいただけると幸いです。

実現したいこと

・画像の中のどの特徴を見て判断しているのかを可視化したいです。
・できたら「このコードを使えば可視化できるなど」あれば教えていただきたいです。

該当のソースコード(これで画像分類しています)

このプログラムを使って犬100枚、猫100枚を学習させ、一枚の画像(sample.jpg)見せて何と答えるかをしています。

python

1from google.colab import drive 2drive.mount('/content/drive')3 4%cd '/content/drive/MyDrive/test'5 6import os 7import cv2 8import numpy as np 9import glob as glob 10from sklearn.model_selection import train_test_split 11from keras.utils import np_utils 12#フォルダ名をクラス名にする13path = "./images"14folders = os.listdir(path)15classes = [f for f in folders if os.path.isdir(os.path.join(path, f))]16n_classes = len(classes)17 18#画像とラベルの格納19X = []20Y = []21 22for label,class_name in enumerate(classes):23 files = glob.glob("./images/" + class_name +"/*.jpg")24 for file in files:25 img = cv2.imread(file)26 img = cv2.resize(img,dsize = (224,224))27 X.append(img)28 Y.append(label)29 30X = np.array(X)31X = X.astype('float32')32X /= 255.033X[0]34 35#ラベルの変換36Y = np.array(Y)37Y = np_utils.to_categorical(Y,n_classes)38Y[:5]39 40#学習データとテストデータに分ける41X_train, X_test, y_train, y_test = train_test_split(X, Y,test_size = 0.2)42print(X_train.shape)43print(X_test.shape)44print(y_train.shape)45print(y_test.shape)46 47from keras.applications.vgg16 import VGG16 48from keras.models import Sequential 49from keras.models import model_from_json 50from keras.models import Model 51from keras.layers import Input, Activation, Dense, Flatten, Dropout 52from keras.optimizers import Adam 53 54#vgg1655input_tensor = Input(shape=(224, 224, 3))56base_model = VGG16(weights='imagenet', input_tensor=input_tensor,include_top=False)57 58#後付け59top_model = Sequential()60top_model.add(Flatten(input_shape=base_model.output_shape[1:]))61top_model.add(Dense(n_classes, activation='softmax'))62 63#結合64model = Model(inputs=base_model.input, outputs = top_model(base_model.output))65 66#学習させない層67for layer in model.layers[:15]:68 layer.trainable = False69 70print('# layers = ', len(model. layers))71 72model.compile(loss='categorical_crossentropy', optimizer='adam',metrics=['accuracy'])73model.summary()74 75#trainデータで学習76model.fit(X_train,y_train,epochs = 20,batch_size = 16)77 78#テストデータで精度確認79score = model.evaluate(X_test,y_test,batch_size = 16)80 81import pickle 82#クラス名の保存83pickle.dump(classes,open("classes.sav","wb"))84#モデルの保存85model.save("./cnn.h5")86 87from keras.models import load_model 88import pickle 89import cv2 90 91#モデルとクラス名の読み込み92model = load_model("./cnn.h5")93classes = pickle.load(open("classes.sav","rb"))94 95#sample画像の前処理96img = cv2.imread('sample.jpg')97img = cv2.resize(img,dsize = (224,224))98img = img.astype('float32')99img /= 225.0100img = img[None, ...]101result = model.predict(img)102 103np.set_printoptions(precision = 3, suppress = True)104result*100105 106#確率が一番大きいクラス107pred = result.argmax()108pred 109 110#クラス名の呼び出し111classes[pred]

試したこと

試して一番できそうな気がしたサイトのページを貼っておきます。
(画像分類したサイトとGrad-camのサイトは何の繋がりもありません)
https://gri.jp/media/entry/2222