如何用 TensorFlow 教机器人作曲?秘诀原来是这样

大数据

作者:杨熹

今天想来看看 AI 是怎样作曲的。

本文会用 TensorFlow 来写一个音乐生成器。

当你对一个机器人说: 我想要一种能够表达出希望和奇迹的歌曲时,发生了什么呢?

计算机会首先把你的语音转化成文字,并且提取出关键字,转化成词向量。然后会用一些打过标签的音乐的数据,这些标签就是人类的各种情感。接着通过在这些数据上面训练一个模型,模型训练好后就可以生成符合要求关键词的音乐。程序最终的输出结果就是一些和弦,他会选择最贴近主人所要求的情感关键词的一些和弦来输出。当然你不只是可以听,也可以作为创作的参考,这样就可以很容易地创作音乐,即使你还没有做到刻意练习1万小时。

机器学习其实是为了扩展我们的大脑,扩展我们的能力。

DeepMind 发表了一篇论文,叫做WaveNet, 这篇论文介绍了音乐生成和文字转语音的艺术。

通常来讲,语音生成模型是串联。这意味着如果我们想从一些文字的样本中来生成语音的话,是需要非常大量的语音片段的数据库,通过截取它们的一部分,并且再重新组装到一起,来组成一个完整的句子。

生成音乐也是同样的道理,但是它有一个很大的难点:就是当你把一些静止的组件组合到一起的时候,生成声音需要很自然,并且还要有情感,这一点是非常难的。

一种理想的方式是,我们可以把所有生成音乐所需要的信息存到模型的参数里面。也就是那篇论文里讲的事情。

我们并不需要把输出结果传给信号处理算法来得到语音信号,而是直接处理语音信号的波。

他们用的模型是 CNN。这个模型的每一个隐藏层中,每个扩张因子,可以互联,并呈指数型的增长。每一步生成的样本,都会被重新投入网络中,并且用于产生下一步。

我们可以来看一下这个模型的图。输入的数据,是一个单独的节点,它作为粗糙的音波,首先需要进行一下预处理,以便于进行下面的操作。

接着我们对它进行编码,来产生一个 Tensor,这个 Tensor 有一些 sample 和 channel。然后把它投入到 CNN 网络的第一层中。这一层会产生 channel 的数量,为了进行更简单地处理。然后把所有输出的结果组合在一起,并且增加它的维度。再把维度增加到原来的 channel 的数量。把这个结果投入到损失函数中,来衡量我们的模型训练的如何。最后,这个结果会被再次投入到网络中,来生成下一个时间点所需要的音波数据。重复这个过程就可以生成更多的语音。这个网络很大,在他们的 GPU 集群上需要花费九十分钟,并且仅仅只能生成一秒的音频。

接下来我们会用一个更简单的模型在 TensorFlow 上来实现一个音频生成器。

1.引入packaGEs:

数据科学包 Numpy ,数据分析包 Pandas,tqdm 可以生成一个进度条,显示训练时的进度。

import numpy as np import pandas as pd import msgpack import glob import tensorflow as tf from tensorflow.python.ops import control_flow_ops from tqdm import tqdm import midi_manipulation

我们会用到一种神经网络的模型 RBM-Restricted Boltzmann Machine 作为生成模型。

它是一个两层网络:第一层是可见的,第二层是隐藏层。同一层的节点之间没有联系,不同层之间的节点相互连接。每一个节点都要决定它是否需要将已经接收到的数据发送到下一层,而这个决定是随机的。

2.定义超参数:

先定义需要模型生成的 note 的 range

lowest_note = midi_manipulation.lowerBound #the index of the lowest note on the piano roll highest_note = midi_manipulation.uPPerBound #the index of the highest note on the piano roll note_range = highest_note-lowest_note #the note range

接着需要定义 timestep ,可见层和隐藏层的大小。

num_timesteps = 15 #This is the number of timesteps that we will create at a time n_visible = 2*note_range*num_timesteps #This is the size of the visible layer. n_hiDDen = 50 #This is the size of the hidden layer

训练次数,批量处理的大小,还有学习率。

num_epochs = 200 #The number of training epochs that we are going to run. For each epoch we go through the entire data set. BAtch_size = 100 #The number of training examples that we are going to send through the RBM at a time. lr = tf.constant(0.005, tf.float32) #The learning rate of our model 3.定义变量:

x 是投入网络的数据

w 用来存储权重矩阵,或者叫做两层之间的关系

用户喜欢...

ImageDT图匠数据入选百度AI加速器,以AI驱动零售升级

8月28日,百度AI加速器Demo Day在北京隆重举行,现场汇聚来自企业服务、智能交通、新零售、医疗服务等多个行业的39家企业成员代表,向在场200多名投资人展示了创新加速成果,会上,百度技...


大数据与AI主要发展趋势:基础设施、分析层面及应用层面

技术的进步推动着经济和生活的全面数字化,对数据的重视提到了前所未有的高度,数据是资产已经被广泛认可。正如《大数据时代》作者舍恩伯格所说,虽然数据还没有被列入企业的资产负...


AI大数据赋能野生动物保护

监测盗猎行为,跟踪在保动物生活起居,利用红外影像、高分相机等多种视觉处理设备找寻动物近年来,随着人工智能技术发展,科技创新成果在珍稀野生动物保护领域发挥着越来越重要的作...


TensorFlow技术主管:团队如何管理开源项目

作者:Pete Warden|TensorFlow Mobile 团队的技术主管 TensorFlow 技术主管在这篇文章中和我们分享了他们团队管理开源项目的...


黑科技:利用python的theano库刷kaggle mnist排行榜

背景 theano 是一个python语言的库,实现了一些机器学习的方法,最大的特点是可以就像普通的python程序一样透明的使用...


【机器学习PAI实践二】人口普查统计

作者:李博Garvin 产品地址 一、背景 本章作为玩转数据系列的开篇,先提供一个简单的案例给大家热身。通过截取一...


最新Github上各DL框架Star数量大PK | 附各框架性能对比分析

译者:王安阳 很多神经网络框架已开源多年,支持机器学习和人工智能的专有解决方案也有很多。多年以来,开发人...


TensorFlow 官方解读:如何在多系统和网络拓扑中构建高性能模型

这个文档和附带的脚本详细介绍了如何构建针对各种系统和网络拓扑的高性能可拓展模型。这个技术在本文档中用了...


微软为何领投走谷歌AI技术路线的Bonsai?(附133家2B人工智能明星创业公司名单)

人工智能泡沫论近来甚嚣尘上,而企业级2B市场被认为是人工智能最快实现盈利的市场IT经理网...


Python 2.6 升级至 Python 2.7 的实践心得

CentOS 6.8 安装 Python 2.7.13,因为软件版本上的需求所以考虑将 Python 升级至 2.7.13,加上生产环境还是以 RHEL 6 为...


漫画 | “你有病,人工智能有药。”等等!这是什么药?

制作:Sheldon科学漫画工作室 你有没有发现? 人工智能这个词最近越来越火了。 2017年菠萝科学奖的主题, 也是“人...


从拉勾网爬的招聘数据 解析中国数据挖掘人才能挣多少钱

作者|李宁(本文已获得作者本人的转载授权,其他转载请联系本人,36大数据不对任何其他转载侵权行为做背书) 缘...


手把手|用Python端对端数据分析识别机器人“僵尸粉”

原文作者:Erin Shellman 导读:不仅微博,在twitter中也存在大批的“僵尸粉”。Twitter中的“僵尸粉”不仅能够在无人干...


Python vs R : 在机器学习和数据分析领域中的对比

为了鼓励新工具的出现,机器学习和数据分析领域似乎已经成了 “开源” 的天下。Python 和 R 语言都具有健全的生态...


谷歌:如何应用数据分析来指导商业实践

译者 | 王晔 吆喝科技CEO 我是做技术出身,不太喜欢重复造轮子,在对 Avinash Kaushik 这篇文章的大部分编译的基础上,...


如何拍出和明星一样美爆的自拍照?斯坦福大学用卷积神经网络建模告诉你

斯坦福大学Andrej Karpathy对自拍建模,用卷积神经网络研究自拍要领,发现了自拍的关键:1. 首先你得是女的,女性得...