KDD2019:Hands on Tutorials

一般情况下,如果想快速了解一个算法领域的全貌,最新的研究方向,或者是已经进入这个方向,但希望从更宏观,更体系化的角度来审视这个领域的话,最好的材料就是顶会的Tutorials。
有幸参加了KDD2019大会,中间穿插这听了一部分,后来又对照大会Calender查了一部分tutorials,在这里将看的信息分享给大家。

Deep Learning for Time Series Forecasting

该tutorial的主要内容如下:
较为全面地介绍了深度学习用于预测time series的具体方法,包括rnn,cnn,dialted cnn(空洞卷积)等方法,以及对应的网络结构
每个具体模型均有对应的ipython代码,主要以pytorch框架实现
代码解决的问题主要是一些公开数据集,或者是kaggle上的比赛(例如wikipedia各网页流量预测)
最后介绍了这些模型在azure上的运行情况

该tutorial比较适合想快速对deep learning 在time series上有一个整体了解,并能够快速跑代码的同学。代码都是pytorch编写(也比较容易理解,毕竟微软肯定不想帮着Google去发展tensorflow的生态)
PPT&Code下载地址:https://github.com/Azure/DeepLearningForTimeSeriesForecasting

Deep Learning for NLP with TensorFlow

Google TensorFlow NLP的Tutorial,有具体的代码且比较精简,特点是使用Google的基于浏览器ipython的环境来运行,只要能联网就可以使用Google云服务器来跑模型。
所以Google这个Tutorials的目的,还是来推他的云服务和配套的Tensorflow生态。每个具体用户具体有多少存储计算资源还未详细了解
代码地址:https://github.com/tensorflow/workshops/tree/master/kdd2019

Building production-ready recommendation systems at scale

微软的Tutorials,有完整推荐系统实现的jupyter notebook代码,几乎涉及到推荐算法的各个环节,包括:

  1. 数据预处理
  2. 建模
  3. 如何评估
  4. 线上部署等
    当然,还是‘没有免费的午餐’原则,微软出品的,所以默认运行环境是在Azure上,不过代码是值得参考的
    代码地址:https://github.com/microsoft/recommenders

Concept to Code: Deep Neural Conversational System

使用深度神经网络实现Conversationsal Sysstem,主要还是介绍经典的一些NLP的模型,例如attention机制,Bert,作者讲解的时候一边使用ppt一边对着代码讲,但代码一直没找到

Learning Graph Neural Networks with Deep Graph Library

介绍亚马逊开源的深度图计算模型,号称速度比较快,简单看了下(没深入调研),该Library的限制也比较明显,就是支持的平台是Pytorch+MXNet,亚马逊出品嘛,必须要推荐MXNet。如果小伙伴们是学习,或者工作中要先试试,那么可以先看:Pytorch Geometric:https://github.com/rusty1s/pytorch_geometric。也是Pytorch实现,但其中的算法,讨论更多,也都带着算法对应的原始论文链接,显得更加系统

图:Amazon DGL支持算法示意

图:Pytorch Geometric支持算法示意

 

From Shallow to Deep Language Representations: Pre-training, Fine-tuning, and Beyond

该Hands on Tutorials系统性地介绍了NLP中的embedding技术,从之前的浅模型,到近年的加了attention机制的深模型。 该处的浅模型主要是从13年开始的word2vec, fasttext,glove等;深度模型比如现在的bert。
该tutorial有对应的代码,但都是基于Amazon的MXNet实现
PPT和代码地址:https://github.com/astonzhang/KDD19-tutorial

 

 

 

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注