基于AWS学习的10个Linux命令分别是什么

基于AWS学习的10个Linux命令是什么？我相信很多没有经验的人对此无能为力。因此，本文总结了问题产生的原因及解决方法。希望你能通过这篇文章解决这个问题。

在AWS上实现大规模深度学习是一种廉价有效的学习和开发方式。用很少的钱，就可以使用几十GB的内存，几十个CPU，多个GPU，值得推荐。

如果您是EC2或Linux命令的新手，这些命令在云中执行深度学习脚本时非常有效。

本文的主要内容包括：

1)在该机器和EC2实例之间复制数据。

2)让脚本按日、按周、按月安全运行。

3)监控进程、系统和GPU的性能。

注意：所有命令都是在类似linux的环境中执行的(Linux、OS x或cygwin)。

00-1010假设AWS EC2一直正常运行。为方便起见，环境设置如下：

1)1)EC2服务器的IP地址是54.218.86.47。

2)用户名为ec2-user。

SSH密钥位于~/。ssh/，文件名为AWS-keypair . PEM；

4)使用python脚本。

有关如何构建基于GPU的EC2实例来执行深度学习，请参考：

https://machinelneringmastery.com/develop-evaluate-large-deep-learning-models-keras-Amazon-web-services/

00-1010在做任何事情之前，您应该首先登录到目标服务器。只需使用SSH命令。将SSH密钥存储在~/。使用有意义的文件名ssh/如aws-keypair.pem使用以下命令登录到EC2主机，注意地址和用户名：

ssh -i ~/。ec2-user@54.218.86.47

00-1010使用SCP命令将本地文件复制到服务器，例如，将script.py文件复制到EC2服务器的命令如下：

scp -i ~/。ssh/AWS-keypair . PEM script . pye C2-user @ 54 . 218 . 86 . 47: ~/

00-1010在服务后台执行脚本时，可以忽略其他信号量，忽略标准输入输出，将所有输出和错误信息重定向到一个日志文件。对于需要长时间运行的深度学习模式来说，这是非常必要的。

no PYTHON/home/ec2-user/script.py/home/ec2-user/script.py.log/dev/null 21在此命令中，script . py和script . py . log位于/home/ec2-user/目录中。参考关于nohup和重定向的其他细节(例如，在维基百科中)。

00-1010如果EC2支持，建议同时运行多个脚本。例如，如果EC2有四个图形处理器，一个脚本可以在每个图形处理器上独立运行。示例代码如下：

da _ VISIBLE _ DEVICES=0 nohuppython/home/ec2-user/script . py/home/ec2-user/script . py . log/dev/null 21如果有4个GPU，可以指定CUDA_VISIBLE_DEVICES从0到3。这在喀拉斯是可行的，TF是背景，但在安诺没有测试。

有关CUDA_VISIBLE_DEVICES的更多信息，请参见https://devblogs.nvidia.com/parallel。

00-1010如果输出结果中有项目评分或者某个算法的运行结果，那么实时监控脚本的输出是非常有意义的。例子如下：

很遗憾，当屏幕上有一段时间没有输出时，AWS会关闭这个终端，所以最好使用：

看‘tailscript . py . log’有时候看不到python的标准输出，所以不知道是python还是EC2。

从00到1010监控EC2系统的性能是很有意义的，尤其是已经使用或者还剩多少内存。例如：

Top-M或指定进程标识号：

Top-pPID-M

0、环境约定

如果多个脚本同时在GPU上执行并并行执行，最好检查一下每个GPU的性能和利用率。例如：

一般来说，手表“NVIDIA-SMI”

1、 登陆到服务器

会一直保持终端打开。

一般情况下，不建议直接在服务器上修改watch ' PS-ef | grepytons '

2、 拷贝文件到服务器

，除非您熟悉vi:

这里不描述vi~/script.pyvi的用法。

00-1010与上传文件相反，这是下一个png文件的示例：

Scp-I ~/。ssh/AWS-keypair . pemec 2-user @ 54 . 218 . 86 . 47: ~/* . png .

3、使脚本在服务器的后台运行

如果要同时运行多个脚本，最好选择有多个GPU的ec2。

最好在本地编写脚本。

将执行结果输出到文件中，并下载到本地进行分析。

使用watch命令保持终端运行。

在本地执行远程命令。

其实大部分都是后台开发工程师的基本功，但对感兴趣的发烧友有点参考价值。

看完以上，你掌握了基于AWS学习的10个Linux命令是什么的方法了吗？如果您想学习更多技能或了解更多相关内容，请关注行业资讯频道。感谢阅读！