褚晓文

香港浸会大学 计算机科学系副教授

个人介绍：

褚晓文，1994年至1999年，就读于清华大学计算机科学与技术系，获得学士学位；1999年至2003年，就读于香港科技大学计算机科学系，获得博士学位。现在香港浸会大学计算机科学系任职终身副教授，并担任香港浸会大学高性能计算中心主任。 褚博士的主要科学研究领域包括分布式计算，GPU计算，以及计算机网络等。褚博士的科研工作得到香港大学教育资助委员会，香港创新及科技基金，深圳市科技研发资金，以及华为，浪潮，英伟达等知名企业的资助，作为项目主要负责人承担科研经费总额愈1600万港币。褚博士已在国际学术期刊和会议发表学术论文140余篇，其中包括中国计算机协会A类论文20余篇；Google H-index为31，Google引用3100+。褚博士和他的学生曾获得2015年BigCom国际会议以及2010年IEEE CIT国际会议的最佳论文奖。褚博士是IEEE资深会员，目前担任SCI国际期刊IEEE Access以及IEEE Internet of Things Journal的Associate Editor。

议题：

Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs

议题介绍：

Deep learning frameworks have been widely deployed on GPU servers and clusters for training computationally expensive deep learning models, but the running performance of different frameworks might be different due to their proprietary implementations. In this talk, we will present the running performance of four state-of-the-art distributed deep learning framework, namely Caffe-MPI, CNTK, MXNet and TensorFlow, over different hardware platforms including single-GPU, multi-GPU, and GPU cluster. We first present performance models of the standard processes in training deep neural networks with stochastic gradient descent. We then present our benchmarking results on the running performance of these frameworks with three popular convolutional neural networks (i.e., AlexNet, GoogleNet and ResNet-50). Our testbed includes a total of 16 Nvidia Tesla P40 GPUs connected by a 56Gbps InfiniBand network.