【機械学習】M1チップMacbook AirでCIFAR-10画像分類【2022】

TIP

M1チップMacbook airのGPUを利用して、畳み込みニューラルネットワーク(CNN)で画像の分類を行ない、学習・推論速度の測定を行いました。

使用したデータセットはCIFAR-１０という10種類の画像のデータセットです。

M1チップMacbook airのGPU利用に関してはMiniforge3による構築で行い、ここについては前回の記事でも触れているため今回は省略します。

基本事項#

まず、今回の計測にまつわる基本事項を解説します。

画像分類#

画像分類とは、正解ラベルのある教師データを元に、データに対して画像の所属するクラスの分類を予測するタスクのことをいいます。

CIFAR-10#

トレーニングデータ50000件、テストデータ10000件を含む10クラスの画像と正解ラベルを集めたデータセットです。正解クラスは以下の１０種類。

ID	英語	日本語名
0	airplane	飛行機
1	automobile	自動車
2	bird	鳥
3	cat	猫
4	deer	鹿
5	dog	犬
6	frog	カエル
7	horse	馬
8	ship	船
9	truck	トラック
もっと詳しい説明も英語ですが、公式HPにあり、ダウンロードもそこからできます。
公式HP http://www.cs.toronto.edu/~kriz/cifar.html

畳み込みニューラルネットワーク#

畳み込み層で特徴を抽出するニューラルネットワークで、画像などの特徴量が多いデータに対して有効とされています。畳み込み層の入力に対して、カーネル（フィルタ）をスライドさせて、カーネルと画像が重なった部分の和を計算します。このスライドの幅をストライドといいます。

何度も畳み込みを行う場合には、どんどん抽出した特徴が小さくなっていくので、外側に0を付加してサイズを行うパディングを行います。

また、特徴量のデータ量を圧縮するために、あるサイズの区間の最大値を取るMAXプーリングを行なったり、平均値を取るAverageプーリングを行うこともあります。

実装#

それでは実装の解説に移っていきます。今回も実行はM1 Macbook Airを用いています。

パッケージのインポート#

CIFAR-10はtensorflow内製のkerasのデータセットに含まれているので、そちらから読み込みます。また機械学習のフレームワークとしてtensorflowを、そして行列の計算にnumpyを、そして画像等のプロットに用いるため、matplotlibをインポートします。

1
# パッケージのインポート
2
from tensorflow.keras.datasets import cifar10
3
from tensorflow.keras.layers import Activation, Dense, Dropout, Conv2D, Flatten, MaxPool2D
4
from tensorflow.keras.models import Sequential, load_model
5
from tensorflow.keras.optimizers import Adam
6
from tensorflow.keras.utils import to_categorical
7
from tensorflow.keras.utils import plot_model
8
import numpy as np
9
import matplotlib.pyplot as plt
10
%matplotlib inline

データセット読み込み・中身の確認#

データセットを読み込んで、形状や中身を確認していきます。

1
# データセットの準備
2
(train_images, train_labels), (test_images, test_labels) = cifar10.load_data()

1
# データセットのシェイプの確認
2
print(train_images.shape)
3
print(train_labels.shape)
4
print(test_images.shape)
5
print(test_labels.shape)

1
(50000, 32, 32, 3)
2
(50000, 1)
3
(10000, 32, 32, 3)
4
(10000, 1)

1
# データセットの画像の確認
2
plt.figure(figsize=(10,8))
3
plt.subplots_adjust(wspace=0.3, hspace=0)
4
for i in range(10):
5
    plt.subplot(2, 5, i+1)
6
    plt.imshow(train_images[i])
7
plt.show()

png

1
# データセットのラベルの確認
2
print(train_labels[0:10])

1
[[6]
2
 [9]
3
 [9]
4
 [4]
5
 [1]
6
 [1]
7
 [2]
8
 [7]
9
 [8]
10
 [3]]

前処理#

ニューラルネットワークに入力する前に、データセットの前処理を行います。画像なので、255で割ることで一つ一つの要素が1を超えないようにします。また、正解ラベルを10クラスのone hot表現に変換します。

1
# データセットの画像の前処理
2
train_images = train_images.astype('float32')/255.0
3
test_images = test_images.astype('float32')/255.0
4

5
# データセットの画像の前処理後のシェイプの確認
6
print(train_images.shape)
7
print(test_images.shape)

1
(50000, 32, 32, 3)
2
(10000, 32, 32, 3)

1
# データセットのラベルの前処理
2
train_labels = to_categorical(train_labels, 10)
3
test_labels = to_categorical(test_labels, 10)
4

5
# データセットのラベルの前処理後のシェイプの確認
6
print(train_labels.shape)
7
print(test_labels.shape)

1
(50000, 10)
2
(10000, 10)

モデルの作成#

畳み込み層とプーリング層とドロップアウト層と全結合層などを重ね、モデルを作成し、コンパイルします。

1
#モデルの作成
2
model = Sequential()
3

4
# Conv→Conv→Pool→Dropout
5
model.add(Conv2D(32, (3, 3), activation='relu', padding='same', input_shape=(32, 32, 3)))
6
model.add(Conv2D(32, (3, 3), activation='relu', padding='same'))
7
model.add(MaxPool2D(pool_size=(2, 2)))
8
model.add(Dropout(0.25))
9

10
# Conv→Conv→Pool→Dropout
11
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
12
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
13
model.add(MaxPool2D(pool_size=(2, 2)))
14
model.add(Dropout(0.25))
15

16
# Flatten→Dense→Dropout→Dense
17
model.add(Flatten())
18
model.add(Dense(512, activation='relu'))
19
model.add(Dropout(0.5))
20
model.add(Dense(10, activation='softmax'))

1
Metal device set to: Apple M1
2

3

4
2022-06-21 01:28:50.804765: I tensorflow/core/common_runtime/pluggable_device/pluggable_device_factory.cc:305] Could not identify NUMA node of platform GPU ID 0, defaulting to 0. Your kernel may not have been built with NUMA support.
5
2022-06-21 01:28:50.805051: I tensorflow/core/common_runtime/pluggable_device/pluggable_device_factory.cc:271] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 0 MB memory) -> physical PluggableDevice (device: 0, name: METAL, pci bus id: <undefined>)

1
# コンパイル
2
model.compile(loss='categorical_crossentropy', optimizer=Adam(lr=0.001), metrics=['acc'])

1
/Users/hiran0rm/miniforge3/envs/ml/lib/python3.9/site-packages/keras/optimizer_v2/adam.py:105: UserWarning: The `lr` argument is deprecated, use `learning_rate` instead.
2
  super(Adam, self).__init__(name, **kwargs)

1
# モデル構成をプロット
2
plot_model(model, show_shapes=True, expand_nested=True)

png

学習#

続いて、コンパイルしたモデルで学習を行なっていきます。M1チップMacbook AirのGPUでの推論速度を確認するため、時間も測定しておきます。

1
# 学習
2
import time
3
now = time.time()
4
history = model.fit(train_images, train_labels, batch_size=128,
5
    epochs=20, validation_split=0.1)
6
print(f"学習にかかった時間:{time.time()-now}[s]")

1
Epoch 1/20
2

3

4
2022-06-21 01:28:56.922811: W tensorflow/core/platform/profile_utils/cpu_utils.cc:128] Failed to get CPU frequency: 0 Hz
5
2022-06-21 01:28:57.095281: I tensorflow/core/grappler/optimizers/custom_graph_optimizer_registry.cc:113] Plugin optimizer for device_type GPU is enabled.
6

7

8
352/352 [==============================] - ETA: 0s - loss: 1.6246 - acc: 0.4075
9

10
2022-06-21 01:29:08.850139: I tensorflow/core/grappler/optimizers/custom_graph_optimizer_registry.cc:113] Plugin optimizer for device_type GPU is enabled.
11

12

13
352/352 [==============================] - 12s 34ms/step - loss: 1.6246 - acc: 0.4075 - val_loss: 1.2733 - val_acc: 0.5404
14
Epoch 2/20
15
352/352 [==============================] - 12s 33ms/step - loss: 1.1770 - acc: 0.5790 - val_loss: 1.0038 - val_acc: 0.6448
16
Epoch 3/20
17
352/352 [==============================] - 12s 34ms/step - loss: 0.9944 - acc: 0.6475 - val_loss: 0.8488 - val_acc: 0.7122
18
Epoch 4/20
19
352/352 [==============================] - 12s 33ms/step - loss: 0.8810 - acc: 0.6872 - val_loss: 0.7789 - val_acc: 0.7266
20
Epoch 5/20
21
352/352 [==============================] - 12s 34ms/step - loss: 0.7991 - acc: 0.7174 - val_loss: 0.7669 - val_acc: 0.7332
22
Epoch 6/20
23
352/352 [==============================] - 12s 34ms/step - loss: 0.7331 - acc: 0.7396 - val_loss: 0.7007 - val_acc: 0.7588
24
Epoch 7/20
25
352/352 [==============================] - 12s 34ms/step - loss: 0.6855 - acc: 0.7572 - val_loss: 0.6742 - val_acc: 0.7720
26
Epoch 8/20
27
352/352 [==============================] - 12s 34ms/step - loss: 0.6378 - acc: 0.7749 - val_loss: 0.6646 - val_acc: 0.7748
28
Epoch 9/20
29
352/352 [==============================] - 12s 34ms/step - loss: 0.5906 - acc: 0.7914 - val_loss: 0.6294 - val_acc: 0.7850
30
Epoch 10/20
31
352/352 [==============================] - 12s 34ms/step - loss: 0.5556 - acc: 0.8033 - val_loss: 0.6469 - val_acc: 0.7828
32
Epoch 11/20
33
352/352 [==============================] - 12s 34ms/step - loss: 0.5189 - acc: 0.8145 - val_loss: 0.6274 - val_acc: 0.7844
34
Epoch 12/20
35
352/352 [==============================] - 12s 34ms/step - loss: 0.4908 - acc: 0.8260 - val_loss: 0.6286 - val_acc: 0.7944
36
Epoch 13/20
37
352/352 [==============================] - 12s 34ms/step - loss: 0.4554 - acc: 0.8395 - val_loss: 0.6177 - val_acc: 0.8004
38
Epoch 14/20
39
352/352 [==============================] - 12s 34ms/step - loss: 0.4262 - acc: 0.8478 - val_loss: 0.6093 - val_acc: 0.8038
40
Epoch 15/20
41
352/352 [==============================] - 12s 33ms/step - loss: 0.4075 - acc: 0.8549 - val_loss: 0.6057 - val_acc: 0.8038
42
Epoch 16/20
43
352/352 [==============================] - 12s 33ms/step - loss: 0.3852 - acc: 0.8621 - val_loss: 0.6482 - val_acc: 0.7990
44
Epoch 17/20
45
352/352 [==============================] - 12s 34ms/step - loss: 0.3680 - acc: 0.8692 - val_loss: 0.6394 - val_acc: 0.8016
46
Epoch 18/20
47
352/352 [==============================] - 12s 34ms/step - loss: 0.3430 - acc: 0.8772 - val_loss: 0.6136 - val_acc: 0.8056
48
Epoch 19/20
49
352/352 [==============================] - 12s 33ms/step - loss: 0.3299 - acc: 0.8824 - val_loss: 0.6661 - val_acc: 0.8046
50
Epoch 20/20
51
352/352 [==============================] - 12s 34ms/step - loss: 0.3190 - acc: 0.8861 - val_loss: 0.6323 - val_acc: 0.8068
52
学習にかかった時間:237.9186029434204[s]

モデルの保存・学習の確認#

学習の終わったモデルをh5形式で保存し、正解率の遷移をプロットします。

1
# モデルの保存
2
model.save('convolution.h5')

1
# グラフの表示
2
plt.plot(history.history['acc'], label='acc')
3
plt.plot(history.history['val_acc'], label='val_acc')
4
plt.ylabel('accuracy')
5
plt.xlabel('epoch')
6
plt.legend(loc='best')
7
plt.show()

png

評価#

テストデータでの推論結果（損失と正解率）を確認します。

1
# 評価
2
test_loss, test_acc = model.evaluate(test_images, test_labels)
3
print('loss: {:.3f}\nacc: {:.3f}'.format(test_loss, test_acc ))

1
313/313 [==============================] - 3s 9ms/step - loss: 0.6922 - acc: 0.7858
2
loss: 0.692
3
acc: 0.786

推論#

最後に、テストデータに対して、推論を行います。ついでに一枚あたりの推論時間も出しておきます。

1
# 推論する画像の表示
2
for i in range(10):
3
    plt.subplot(2, 5, i+1)
4
    plt.imshow(test_images[i])
5
plt.show()
6

7
# 推論したラベルの表示
8
now = time.time()
9
test_predictions = model.predict(test_images[0:10])
10
pred_time = time.time()-now
11
print(f"推論にかかった時間(10枚):{pred_time}[s]")
12
print(f"推論にかかった時間(1枚):{pred_time/10}[s]")
13

14
test_predictions = np.argmax(test_predictions, axis=1)
15
labels = ['airplane', 'automobile', 'bird', 'cat', 'deer',
16
        'dog', 'frog', 'horse', 'ship', 'truck']
17
print([labels[n] for n in test_predictions])

png

1
推論にかかった時間(10枚):0.07548689842224121[s]
2
推論にかかった時間(1枚):0.007548689842224121[s]
3
['cat', 'ship', 'ship', 'airplane', 'frog', 'frog', 'automobile', 'bird', 'cat', 'automobile']
4

5

6
2022-06-21 01:33:18.213022: I tensorflow/core/grappler/optimizers/custom_graph_optimizer_registry.cc:113] Plugin optimizer for device_type GPU is enabled.

まとめ#

今回の記事のまとめです。

M1チップMacbook AirのGPUを使ってtensorflowで畳み込みニューラルネットワークの学習と推論を行った。
バッチサイズ128・エポック数20程度の学習終了までにかかった時間は238秒(4分)程度であった。
1枚の推論にかかる時間は　0.008秒程度であった。
テストデータでの正解率は78%程度であった。 M1チップMacbook AirのGPUは結構使えますね。tensorflowはMacのM1チップに対応しているので、引き続きtensorflowとM1 Macbook Airで機械学習に挑戦していきたいと思います。