 在 TensorFlow.org 上查看 |
 在 Google Colab 中运行 |
 在 Github 上查看源代码 |
 下载笔记本 |
本教程包含 DeepDream 的最小规模实现，如此篇由 Alexander Mordvintsev 发布的博文所述。
DeepDream 是一项将神经网络学习模式予以可视化展现的实验。与孩子们观察云朵并尝试解释随机形状相类似，DeepDream 会过度解释并增强其在图像中看到的图案。
该技术的原理是通过网络转发图像，然后计算图像相对于特定层激活的梯度。随后，图像将被修改以增加这些激活，从而增强网络可识别到的图案，并生成梦境般的图像。该过程被称为“盗梦”（引用自 InceptionNet，以及电影《盗梦空间》）。
让我们演示如何帮助神经网络“造梦”并增强其在图像中识别到的超现实图案。
import tensorflow as tf
2023-11-07 19:31:51.241714: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:9261] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2023-11-07 19:31:51.241758: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:607] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2023-11-07 19:31:51.243469: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1515] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
import numpy as np
import matplotlib as mpl
import IPython.display as display
import PIL.Image
选择要梦境化的图像
在本教程中，我们使用了拉布拉多寻回犬的图片。
url = 'https://storage.googleapis.com/download.tensorflow.org/example_images/YellowLabradorLooking_new.jpg'
# Download an image and read it into a NumPy array.
def download(url, max_dim=None):
name = url.split('/')[-1]
image_path = tf.keras.utils.get_file(name, origin=url)
img = PIL.Image.open(image_path)
if max_dim:
img.thumbnail((max_dim, max_dim))
return np.array(img)
# Normalize an image
def deprocess(img):
img = 255*(img + 1.0)/2.0
return tf.cast(img, tf.uint8)
# Display an image
def show(img):
display.display(PIL.Image.fromarray(np.array(img)))
# Downsizing the image makes it easier to work with.
original_img = download(url, max_dim=500)
show(original_img)
display.display(display.HTML('Image cc-by: <a "href=https://commons.wikimedia.org/wiki/File:Felis_catus-cat_on_snow.jpg">Von.grzanka</a>'))
Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/YellowLabradorLooking_new.jpg 83281/83281 [==============================] - 0s 0us/step
准备特征提取模型
下载并准备预训练的图像分类模型。您将使用 InceptionV3，它与 DeepDream 中最初使用的模型相似。请注意，任何预训练模型均可使用，但如果对其进行了更改，则您需要调整下方的层名称。
base_model = tf.keras.applications.InceptionV3(include_top=False, weights='imagenet')
Downloading data from https://storage.googleapis.com/tensorflow/keras-applications/inception_v3/inception_v3_weights_tf_dim_ordering_tf_kernels_notop.h5 87910968/87910968 [==============================] - 1s 0us/step
DeepDream 的方案是选择一个或多个层，并以使图像渐增式“激发”层的方式最大化“损失”。融入特征的复杂性取决于您选择的层，即较低的层会产生笔触或简单的图案，而较深的层则会使图像甚至整个对象呈现出复杂的特征。
InceptionV3 架构十分庞大（有关模型架构的图表，请参见 TensorFlow 的研究仓库）。对于 DeepDream，目标层是将卷积串联在一起的层。InceptionV3 中有 11 层，名为“mixed0”至“mixed10”。使用不同的层将产生不同的梦幻图像。较深的层响应较高级的特征（例如，眼睛和面部），而较浅的层则响应较简单的特征（例如，边缘、形状和纹理）。请随意尝试以下选择的层，但请记住，由于梯度计算的深度较大，较深的层（索引较高的层）将需要较长的训练时间。
# Maximize the activations of these layers
names = ['mixed3', 'mixed5']
layers = [base_model.get_layer(name).output for name in names]
# Create the feature extraction model
dream_model = tf.keras.Model(inputs=base_model.input, outputs=layers)
计算损失
损失是所选层中激活的总和。损失在每一层均会进行归一化，因此较大层的贡献不会超过较小层。通常，您会希望通过梯度下降来实现损失量最小化。但在 DeepDream 中，您将通过梯度上升使这种损失最大化。
def calc_loss(img, model):
# Pass forward the image through the model to retrieve the activations.
# Converts the image into a batch of size 1.
img_batch = tf.expand_dims(img, axis=0)
layer_activations = model(img_batch)
if len(layer_activations) == 1:
layer_activations = [layer_activations]
losses = []
for act in layer_activations:
loss = tf.math.reduce_mean(act)
losses.append(loss)
return tf.reduce_sum(losses)
梯度上升
所选层的损失一旦计算完成，只需相对于图像计算梯度，并将梯度添加到原始图像即可。
将梯度添加到图像后，网络可以更清晰地识别图案。在每个步骤中，您都将创建一个图像，从而渐增式地激发网络中某些层的激活。
下文提供了执行此操作的方法，即包装在 tf.function 中，从而提升性能。它使用 input_signature 来确保不会因图像大小不一或 steps/step_size 值不同而回溯函数。有关详细信息，请参阅具体函数指南。
class DeepDream(tf.Module):
def __init__(self, model):
self.model = model
@tf.function(
input_signature=(
tf.TensorSpec(shape=[None,None,3], dtype=tf.float32),
tf.TensorSpec(shape=[], dtype=tf.int32),
tf.TensorSpec(shape=[], dtype=tf.