add content

snowkylin · snowkylin · commit af0b248c1fba · 2018-05-10T01:40:38.000+08:00
diff --git a/.gitignore b/.gitignore
@@ -1,4 +1,6 @@
 .vscode
 build
 reference
-teaching
+teaching
+workspace.code-workspace
+source/_static/code/.idea
diff --git a/make_latex.bat b/make_latex.bat
@@ -0,0 +1 @@
+make latex
diff --git a/source/_static/code/basic/1plus1.py b/source/_static/code/basic/1plus1.py
@@ -0,0 +1,10 @@
+import tensorflow as tf
+
+# 定义一个“计算图”
+a = tf.constant(1)  # 定义一个常量Tensor（张量）
+b = tf.constant(1)
+c = a + b  # 等价于 c = tf.add(a, b)，c是张量a和张量b通过Add这一Operation（操作）所形成的新张量
+
+sess = tf.Session()     # 实例化一个Session（会话）
+c_ = sess.run(c)        # 通过Session的run()方法对计算图里的节点（张量）进行实际的计算
+print(c_)
diff --git a/source/_static/code/basic/AmatmulB.py b/source/_static/code/basic/AmatmulB.py
@@ -0,0 +1,9 @@
+import tensorflow as tf
+
+A = tf.ones(shape=[2, 3])   # tf.ones(shape)定义了一个形状为shape的全1矩阵
+B = tf.ones(shape=[3, 2])
+C = tf.matmul(A, B)
+
+sess = tf.Session()
+C_ = sess.run(C)
+print(C_)
diff --git a/source/_static/code/basic/aplusb.py b/source/_static/code/basic/aplusb.py
@@ -0,0 +1,12 @@
+import tensorflow as tf
+
+a = tf.placeholder(dtype=tf.int32)  # 定义一个占位符Tensor
+b = tf.placeholder(dtype=tf.int32)
+c = a + b
+
+a_ = input("a = ")  # 从终端读入一个整数并放入变量a_
+b_ = input("b = ")
+
+sess = tf.Session()
+c_ = sess.run(c, feed_dict={a: a_, b: b_})  # feed_dict参数传入为了计算c所需要的张量的值
+print("a + b = %d" % c_)
diff --git a/source/_static/code/basic/example_tensorflow_eager_autograd.py b/source/_static/code/basic/example_tensorflow_eager_autograd.py
@@ -1,7 +1,7 @@
 import numpy as np
 import tensorflow as tf
 import tensorflow.contrib.eager as tfe
-tfe.enable_eager_execution()
+tf.enable_eager_execution()
 
 X_raw = np.array([2013, 2014, 2015, 2016, 2017], dtype=np.float32)
 y_raw = np.array([12000, 14000, 15000, 16500, 17500], dtype=np.float32)
@@ -26,7 +26,7 @@ def loss(X_, y_):
 optimizer = tf.train.GradientDescentOptimizer(learning_rate=1e-3)
 for e in range(num_epoch):
     # 前向传播
-    y_pred = a * X + b
+    # y_pred = a * X + b
 
     # 反向传播，利用Eager模式下的tfe.implicit_gradients()自动计算梯度
     grad = grad_fn(X, y)
diff --git a/source/_static/code/basic/variable.py b/source/_static/code/basic/variable.py
@@ -0,0 +1,13 @@
+import tensorflow as tf
+
+a = tf.get_variable(name='a', shape=[])
+initializer = tf.assign(a, 0)   # tf.assign(x, y)返回一个“将张量y的值赋给变量x”的操作
+a_plus_1 = a + 1    # 等价于 a + tf.constant(1)
+plus_one_op = tf.assign(a, a_plus_1)
+
+sess = tf.Session()
+sess.run(initializer)
+for i in range(5):
+    sess.run(plus_one_op)                   # 对变量a执行加一操作
+    a_ = sess.run(a)                        # 获得变量a的值并存入a_
+    print(a_)
diff --git a/source/_static/code/basic/variable_with_initializer.py b/source/_static/code/basic/variable_with_initializer.py
@@ -0,0 +1,12 @@
+import tensorflow as tf
+
+a = tf.get_variable(name='a', shape=[], initializer=tf.zeros_initializer)   # 指定初始化器为全0初始化
+a_plus_1 = a + 1
+plus_one_op = tf.assign(a, a_plus_1)
+
+sess = tf.Session()
+sess.run(tf.global_variables_initializer()) # 初始化所有变量
+for i in range(5):
+    sess.run(plus_one_op)
+    a_ = sess.run(a)
+    print(a_)
diff --git a/source/_static/code/test/test.py b/source/_static/code/test/test.py
@@ -0,0 +1,14 @@
+import tensorflow as tf
+
+zero = tf.fill([2, 3], tf.constant(0))  # == tf.zeros([2, 3])
+tf.get_default_graph().collections
+a = tf.Variable(initial_value=zero)     # name="Variable:0"
+print(tf.GraphKeys.GLOBAL_VARIABLES)    # "variables"
+a_initializer = tf.assign(a, a._initial_value)
+a_plus_1 = tf.add(a, 1)
+tf.Graph
+# b = tf.get_variable()
+
+with tf.Session() as sess:
+    sess.run(a_initializer)
+    print(sess.run(a_plus_1))
diff --git a/source/basic.rst b/source/basic.rst
@@ -16,6 +16,54 @@ TensorFlow，顾名思义，就是Tensor（张量）进行Flow（流动）的过
 
 在对TensorFlow的具体概念，如张量（Tensor）、数据流图（Dataflow Graph）、变量（Variable）、优化器（Optimizer）等进行具体介绍之前，本手册先举一个具体的例子，以让读者能对TensorFlow的基本运作方式有一个直观的理解。
 
+基础示例：TensorFlow 1+1
+^^^^^^^^^^^^^^^^^^^^^^^^^^^
+
+TensorFlow本质上是一个符号式的（基于计算图的）计算框架。这里以计算1+1作为Hello World的示例。
+
+.. literalinclude:: ../source/_static/code/basic/1plus1.py      
+
+输出::
+    
+    2
+
+上面这个程序只能计算1+1，以下程序通过 ``tf.placeholder()`` （占位符张量）和 ``sess.run()`` 的 ``feed_dict=`` 参数展示了如何使用TensorFlow计算任意两个数的和：
+
+.. literalinclude:: ../source/_static/code/basic/aplusb.py      
+
+运行程序::
+
+    >>> a = 2
+    >>> b = 3
+    a + b = 5
+
+变量（Variable）是一种特殊类型的张量，使用 ``tf.get_variable()`` 建立，与编程语言中的变量很相似。使用变量前需要先初始化，变量的值可以在计算图的计算过程中被修改。以下示例如何建立一个变量，将其值初始化为0，并逐次累加1。
+
+.. literalinclude:: ../source/_static/code/basic/variable.py
+
+输出::
+
+    1.0
+    2.0
+    3.0
+    4.0
+    5.0
+
+以下代码和上述代码等价，在声明变量时指定初始化器，并通过 ``tf.global_variables_initializer()`` 一次性初始化所有变量，在实际工程中更常用：
+
+.. literalinclude:: ../source/_static/code/basic/variable_with_initializer.py
+
+矩阵乃至张量运算是科学计算（包括机器学习）的基本操作。以下程序展示如何计算两个矩阵 :math:`\begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}` 和 :math:`\begin{bmatrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{bmatrix}` 的乘积：
+
+.. literalinclude:: ../source/_static/code/basic/AmatmulB.py
+
+输出::
+
+    [[3. 3.]
+     [3. 3.]]
+
+Placeholder（占位符张量）和Variable（变量张量）也同样可以为向量、矩阵乃至更高维的张量。
+
 基础示例：线性回归
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
 
@@ -46,7 +94,7 @@ NumPy：命令式编程
 TensorFlow：符号式编程
 ----------------------------
 
-TensorFlow使用 **符号式编程** 来进行数值运算。首先，我们需要将待计算的过程抽象为数据流图，将输入、运算和输出都用符号化的节点来表达。然后，我们将数据不断地送入输入节点，让数据沿着数据流图进行计算和流动，最终到达我们需要的特定输出节点。以下代码展示了如何基于TensorFlow的符号式编程方法完成与前节相同的任务。其中， ``tf.placeholder()`` 即可以视为一种“符号化的输入节点”，而 ``sess.run(output_node, feed_dict={input_node: data})`` 可以视作将数据送入输入节点，沿着数据流图计算并到达输出节点并返回值的过程。
+TensorFlow使用 **符号式编程** 来进行数值运算。首先，我们需要将待计算的过程抽象为数据流图，将输入、运算和输出都用符号化的节点来表达。然后，我们将数据不断地送入输入节点，让数据沿着数据流图进行计算和流动，最终到达我们需要的特定输出节点。以下代码展示了如何基于TensorFlow的符号式编程方法完成与前节相同的任务。其中， ``tf.placeholder()`` 即可以视为一种“符号化的输入节点”，使用 ``tf.get_variable()`` 定义模型的参数（Variable类型的张量可以使用 ``tf.assign()`` 进行赋值），而 ``sess.run(output_node, feed_dict={input_node: data})`` 可以视作将数据送入输入节点，沿着数据流图计算并到达输出节点并返回值的过程。
 
 .. literalinclude:: ../source/_static/code/basic/example_tensorflow.py
     :lines: 9-
@@ -93,7 +141,7 @@ TensorFlow的动态图支持 *
 .. [注1] 其实线性回归是有解析解的。这里使用梯度下降方法只是为了展示TensorFlow的运作方式。
 .. [注2] 此处的损失函数为均方差 :math:`L(x) = \frac{1}{2} \sum_{i=1}^5 (ax_i + b - y_i)^2`。其关于参数 ``a`` 和 ``b`` 的偏导数为 :math:`\frac{\partial L}{\partial a} = \sum_{i=1}^5 (ax_i + b - y) x_i`，:math:`\frac{\partial L}{\partial b} = \sum_{i=1}^5 (ax_i + b - y)`
 
-变量、常量与占位符
+张量（变量、常量与占位符）
 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
 
 会话与计算图
diff --git a/source/installation.rst b/source/installation.rst
@@ -15,8 +15,8 @@ TensorFlow的具体安装步骤可参考官方网站上的说明（https://tenso
 3. （针对GPU版本）安装NVIDIA显卡驱动程序、 `CUDA Toolkit <https://developer.nvidia.com/cuda-downloads>`_ 和 `cuDNN <https://developer.nvidia.com/cudnn>`_ 。值得注意的事项有：
 
    * 建议的顺序是：先安装最新版NVIDIA显卡驱动程序，再安装CUDA（安装时不要选择同时安装驱动），最后安装cuDNN。CUDA附带的显卡驱动程序可能过旧；
-   * 在Linux系统（如Ubuntu）下安装NVIDIA显卡驱动程序往往不会一帆风顺，注意在安装前禁用系统自带的开源显卡驱动、禁用主板的Secure Boot功能。更详细的指导可以参考 `这篇文章 <https://www.linkedin.com/pulse/installing-nvidia-cuda-80-ubuntu-1604-linux-gpu-new-victor/>`_ ；
-   * CUDA Toolkit和cuDNN的版本一定要与TensorFlow官方网站安装说明的版本一致，注意官方网站安装说明里要求安装的版本可能并非最新版本。截至本手册撰写时，TensorFlow版本为1.4，其使用的版本为CUDA Toolkit 8.0和cuDNN v6.0，而此时NVIDIA网站上的最新版本为CUDA Toolkit 9.1和cuDNN v7.0；
+   * 在Ubuntu下有一个很简易的驱动安装方法：在系统设置（System Setting）里面选软件与更新（Software & Updates），然后点选Additional Drivers里面的“Using NVIDIA binary driver”选项并点选右下角的“Apply Changes”即可，系统即会自动安装NVIDIA驱动。否则，NVIDIA显卡驱动程序在Linux系统上的安装往往不会一帆风顺，注意在安装前禁用系统自带的开源显卡驱动Nouveau、禁用主板的Secure Boot功能。更详细的指导可以参考 `这篇文章 <https://www.linkedin.com/pulse/installing-nvidia-cuda-80-ubuntu-1604-linux-gpu-new-victor/>`_ ；
+   * CUDA Toolkit和cuDNN的版本一定要与TensorFlow官方网站安装说明的版本一致，注意官方网站安装说明里要求安装的版本可能并非最新版本；
    * cuDNN的安装方式比较特殊，你需要手动将下载的安装包复制到CUDA的安装目录下。
 
 .. [注] GPU加速的效果与GPU的性能有关，如果CPU性能较好（例如4核的英特尔酷睿i7）但GPU仅有入门级的性能，其实速度提升不大，大概1-2倍。不过如果GPU性能强大的话（例如，本手册写作时，NVIDIA GeForce GTX 1080或NVIDIA GeForce TITAN系列是市场上性能较强大的显卡型号），十几倍甚至更高的加速效果也是可以达到的。同时，GPU的加速效果与任务本身也有关。入门级的TensorFlow模型往往不需要太高的计算性能，CPU版本的TensorFlow足以胜任，因此可以待到掌握TensorFlow的基本知识后，再决定是否购入更高级的GPU以得到更快的训练速度。
diff --git a/source/ops.rst b/source/ops.rst
@@ -18,5 +18,8 @@ TensorFlow运算符
 神经网络相关操作
 ^^^^^^^^^^^^^^^^^^^^^^^^
 
+TensorFlow与Matlab运算对照表
+^^^^^^^^^^^^^^^^^^^^^^^^^^^
+
 
 
diff --git a/source/preface.rst b/source/preface.rst
@@ -1,7 +1,7 @@
 前言
 ======
 
-目前，市面上已经有不少与TensorFlow相关的中文技术书籍。不过这些书籍大部分都以深度学习为主线，而将TensorFlow作为这些深度学习模型的实现方式。这样固然有体系完整的优点，然而对于已经在机器学习或深度学习领域有所基础，希望侧重于了解TensorFlow本身的读者而言，就显得不够友好。同时，虽然TensorFlow有官方的教学文档（https://tensorflow.google.cn/tutorials），然而在体例上显得逻辑性不足，缺乏一般教学文档从浅入深，层次递进的特性，而更类似于一系列技术文档的罗列。于是，我希望编写一本手册，以尽量简洁的语言展示TensorFlow作为一个计算框架的主要特性，力图能让已经有一定机器学习/深度学习知识及编程能力的读者迅速上手TensorFlow，并在实际编程过程中可以随时查阅并解决实际问题。该手册的主要特征有：
+目前，市面上已经有不少与TensorFlow相关的中文技术书籍。不过这些书籍大部分都以深度学习为主线，而将TensorFlow作为这些深度学习模型的实现方式。这样固然有体系完整的优点，然而对于已经对机器学习或深度学习理论有所了解，希望侧重于学习TensorFlow本身的读者而言，就显得不够友好。同时，虽然TensorFlow有官方的教学文档（https://tensorflow.google.cn/tutorials），然而在体例上显得逻辑性不足，缺乏一般教学文档从浅入深，层次递进的特性，而更类似于一系列技术文档的罗列。于是，我希望编写一本手册，以尽量简洁的语言展示TensorFlow作为一个计算框架的主要特性，力图能让已经有一定机器学习/深度学习知识及编程能力的读者迅速上手TensorFlow，并在实际编程过程中可以随时查阅并解决实际问题。该手册的主要特征有：
 
 * 定位以工具书为主，编排以TensorFlow的各项概念和功能为核心，力求能够让TensorFlow开发者快速查阅。各章相对独立，不一定需要按顺序阅读。同时，正文中不会出现太多关于深度学习和机器学习的理论介绍；
 * 包含大量的典型示例，让读者可以快速理解并举一反三；
@@ -10,7 +10,7 @@
 
 在整本手册中，带“*”的部分均为选读。
 
-本手册的暂定名称《简单粗暴TensorFlow》是向我的好友兼同学Chris Wu编写的《简单粗暴LaTeX》（https://github.com/wklchris/Note-by-LaTeX）致敬。该手册清晰精炼，是LaTeX领域不可多得的中文资料，也是我在编写这一技术文档时所学习的对象。
+本手册的暂定名称《简单粗暴TensorFlow》是向我的好友兼同学Chris Wu编写的《简单粗暴 :math:`\text{\LaTeX}` 》（https://github.com/wklchris/Note-by-LaTeX）致敬。该手册清晰精炼，是 :math:`\text{\LaTeX}` 领域不可多得的中文资料，也是我在编写这一技术文档时所学习的对象。
 
 |
 
