2018-05-27-computer-using-hints-电脑使用帮助[持续更新]-FreeNAS中文网

admin 管理员组

文章数量: 887021

layout: post
title: 2018-05-27-computer-using-hints-电脑使用帮助
key: 20180527
tags: ubuntu cuda cudnn tensorflow gym qq ssh
modify_date: 2018-05-27
---

2018-05-27-computer-using-hints-电脑使用帮助

说明：

本文发布于: gitee,github,博客园
转载和引用请指明原作者和连接及出处.

内容和使用:

此文为了将hints做成静态页面而方便大家查看及互相链接,您还可以访问它的源码项目(多个相同的镜像):
- gitee(https://gitee/freelogic/computer-using-hints.git);
- github(https://github/freelogic/computer-using-hints.git);
- gitlab(https://gitlab/freelogic/computer-using-hints.git);
建议您通过本page的页内搜索来查找关键字及相关内容,当前主流浏览器都有"页内搜索"功能;

正文:

Content

1-Basic OS Hints
- 1.1-Ubuntu
  - 1.1.1-Ubuntu18.04如何切换默认的python版本?
  - 1.1.2-Ubuntu18.04如何安装摆渡云盘客户端(不是摆渡云同步客户端)?
  - 1.1.3-如何通过ssh终端(比如在WIN10)登录Ubuntu18.04平台?
  - 1.1.4-Ubuntu18.04如何安装QQ?
  - 1.1.5-Ubuntu18.04如何安装chrome?
  - 1.1.6-Ubuntu18.04如何安装pycharm?
  - 1.1.7-Ubuntu下如何安装循环依赖的lib库?
  - 1.1.8-Ubuntu18.04解决USB无线鼠标插入后无法使用的问题?
  - 1.1.9-Ubuntu18.04下计算SHA1和MD5值?
  - 1.1.10-Ubuntu18.04下文件目录比较工具(类似beyondcompare)?
  - 1.1.11-Ubuntu18.04下安装类似notepad++的文本工具
  - 1.1.12-Ubuntu18.04下安装OCR工具(tesseract)
  - 1.1.13-Ubuntu18.04下调节字体和鼠标样式及大小
  - 1.1.14-Ubuntu18.04下测网速
  - 1.1.15-查看Ubuntu18.04的硬件配置
  - 1.1.16-Ubuntu18.04的apt-get命令如何安装指定版本?
  - 1.1.17-Ubuntu18.04的ufw的简易防火墙操作
2-Special Topic Hints
- 2.1-Programming
  - 2.1.1-版本管理
    - 2.1.1.1-GIT
      - 2.1.1.1.1-如何从本地PUSH分支改动到多个远端GIT仓库(假设远端GIT仓库为多个备份镜像库且内容相同) ?
    - 2.1.1.2-GIT仓库
      - 2.1.1.2.1-无法注册新GITLAB帐号且忘记老帐号密码怎么办?
  - 2.1.2-JAVA
    - 2.1.2.1-JDK
      - 2.1.2.1.1-JDK安装
  - 2.1.3-DataBase
    - 2.1.3.1-MYSQL
      - 2.1.3.1.1-MYSQL的安装
  - 2.1.4-Testing
    - 2.1.4.1-JMeter
      - 2.1.4.1.1-JMeter的安装
      - 2.1.4.1.2-JMeter的分布式测试
- 2.2-机器学习
  - 2.2.1-环境安装
    - 2.2.1.1-ubuntu
      - 2.1.1.1.1-ubuntu18.04环境安装机器学习环境TF的三件套CUDA-CUDNN-TENSORFLOW
      - 2.1.1.1.2-ubuntu18.04环境安装OpenAI的GYM的强化学习环境
- 2.3 大数据
  - 2.3.1-日志
    - 2.3.1.1-ELK
      - 2.3.1.1.1-安装ELK
3-END

1. Basic OS Hints

1.1 Ubuntu

1.1.1 Ubuntu18.04如何切换默认的python版本?

ubuntu18.04切换默认python的方法:

参考: https://segmentfault/q/1010000003713912

命令:


# 定义2种python版本
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100     
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

# 如下命令用来切换
sudo update-alternatives --config python

1.1.2 Ubuntu18.04如何安装摆渡云盘客户端(不是摆渡云同步客户端)?

ubuntu18.04安装摆渡云盘客户端(不是摆渡云同步客户端)
- 参考:https://blog.csdn/tao_627/article/details/45007637
  - 这个链接有bcloud3.9.1安装包,它是能找到的最新版本,已放入个人云盘"我的程序\ubuntu"位置;
  - bcloud其实都是社区和个人自己维护的源码!3.9.1版本已测可用;
- 安装参考:https://blog.csdn/qq_37163122/article/details/78169072

1.1.3 如何通过ssh终端(比如在WIN10)登录Ubuntu18.04平台?

用ssh登录ubuntu18.04

原理:默认ubuntu系统安装后有ssh,而没有sshd,所以其他服务器/PC无法通过ssh协议来远超登录ubuntu,需要如下操作:


  安装参考:https://jingyan.baidu/article/359911f5a5b74857fe0306c4.html
  # 查看Ubuntu是否已经安装或启用了ssh服务
  ps -e |grep ssh
  # 如果只有ssh-agent,则它是ssh-client客户端进程;
  # 如果没有sshd进程,则需要继续安装ssh的server模块,他是OS的一部分;

  # 安装sshd
  sudo apt install openssh-server

  #开启/关闭ssh服务命令：
  sudo service ssh start  #手动启动服务
  sudo service ssh stop   #手动关闭服务
  sudo service ssh status #查询服务状态

1.1.4 Ubuntu18.04如何安装QQ?

install QQ
- Best way is use "WEBQQ(http://web2.qq/)" instead of install local program;
- WEBQQ is an URL, you can make a URL link icon on desktop of ubuntu;

1.1.5 Ubuntu18.04如何安装chrome?

install chrome
- Best way is to download chrome's deb package and use "sudo dpkg -i google-chrome-stable_current_amd64.deb" to install;
- Notes: after 'deb' downloaded, don't click on it to install automaticly, it maybe report error and use command above suggested to install it in terminal;

1.1.6 Ubuntu18.04如何安装pycharm?

install pycharm
- ubuntu18.04的最新的"软件/software"当中可以搜到"pycharm",但是双击自动安装多次失败,所以建议用如下普通方式安装;
- 下载免费社区版本的pycharm包,然后执行"\bin\pycharm.sh"脚本,就启动了图形界面,建议拖动到ubuntu的desktop做个链接,方便下次启动;
- 配置python解析器: 从"setting"配置界面,搜索关键字或直接找到"Project Interperter",然后根据情况选择;
  - 一般安装完pycharm后它自动感知OS系统,可能会发现多个python解析其, 比如ananconda,或系统的python3,或python2等等;
  - 建议你选anaconda或os自带, 然后pycharm会自动探测其依赖库的更新,每次启动pycharm,一般会更新index,其实就是"扫库"看是否安装了新lib库;
  - 比如: 你anaconda命令行下用"conda"命令安装了python模块AAA,而os的python3下这个模块AAA没有安装,则pycharm如果使用os的python3则不会重建lib的index;
  - 参考:https://wwwblogs/fanmu/p/8010580.html

1.1.7 Ubuntu下如何安装循环依赖的lib库?

解决ubuntu下用命令"apt-get"安装有循环依赖的一组lib库的问题
- 问题:ubuntu下使用"apt-get"来安装lib1库,但lib1依赖lib2,而lib2又依赖lib3和lib4,但最终lib4可能还依赖lib1,循环了;
- 解决:其实,你没法单独安装lib库;只要"sudo apt-get install lib1,lib2,lib3,lib4" //将循环依赖库一并写上,同时安装就行

1.1.8 Ubuntu18.04解决USB无线鼠标插入后无法使用的问题?

解决UBUNTU18.04插入USB无线鼠标无效的问题
- 问题: ubuntu18.04可能默认在电池模式会关闭USB端口,则USB鼠标插入无法使用;
- 解决: 插入电源,笔记本电脑就能堆新接入的无线USB鼠标感知并能使用了;
- TODO:暂未找到如何设定ubuntu18.04在电源模式下禁用或弃用USB设备(如USB的WIFI鼠标)的配置;

1.1.9 Ubuntu18.04下计算SHA1和MD5值?

ubuntu下计算sha1/md5值
- 参考: http://blog.sina/s/blog_15e13208d0102w54j.html
- 命令: md5sum ./hoek-2.16.3.tgz > ./hoek-2.16.3.tgz.md5.txt //假设你下载了tgz到当前目录
- 命令: sha1sum ./hoek-2.16.3.tgz > ./hoek-2.16.3.tgz.sha1.txt //假设你下载了tgz到当前目录

1.1.10 Ubuntu18.04下文件目录比较工具(类似beyondcompare)?

Ubuntu下有免费工具meld,它非常类似beyondcompare,可以比较目录和文件,很好用!
- 安装: 在ubuntu搜索关键字"软件",打开"软件"(类似app store或安装应用商店)后,在它里面搜索关键字"meld",直接安装和启动;

1.1.11 Ubuntu18.04下安装类似notepad++的文本工具

ubuntu下不能直接安装notepad++,但可以安装其家族的名为"notepadqq"的linux版本;
- 参考:Ubuntu 16.04安装Notepadqq编辑器替代Notepad++
- 安装:
```
  sudo add-apt-repository ppa:notepadqq-team/notepadqq
  sudo apt-get update
  sudo apt-get install notepadqq
```

1.1.12 Ubuntu18.04下安装OCR工具(tesseract)

ubuntu下的OCR工具不多(至少没有win下的金山OCR,汉王OCR,紫光OCR等等),但免费预装的tesseract就非常好!
- ubuntu18.04自带tesseract4.00版本,可以识别中英文(中文识别需如下安装中文包),测试效果还不错,超过一些在线OCR网站(收费或免费),它是最新LSTM的神经网络及机器学习的内容,可以进一步学习;
- 安装:
```
  sudo apt-get install tesseract-ocr  //发现ubuntu18.04已经安装了最新的4.00版本
  sudo apt-get install tesseract   //同上
  sudo apt-get install tesseract-ocr-chi-sim //安装额外的中文简体识别包
  tesseract //查看命令的格式和参数
  tesseract --list-langs //查看支持的语言
  tesseract ./yangpu-xiaoxue.jpg yangpu-xiaoxue.txt -l chi_sim  //进行识别命令并输出结果txt文件;
  # 性能说明: 中文识别(4MB的JPG包含2列450行文字)运用到了4个core,大约30秒左右,未查是否使用了GPU,仅供参考;
```
- 参考1:https://blog.csdn/dcrmg/article/details/78128026
- 参考2(详细):https://blog.csdn/yimingsilence/article/details/51353772
- 第三方UI界面软件: 在ubuntu的"软件/software"中查找"gimagereader"关键字并安装它,它是tesseract的一个UI界面,非常好用!
- 缺陷:tesseract不能自动转换为带表格的XLS文件格式,而某些在线OCR(如下),或win下的OCR支持中文版面识别,能将table转换为XLS的表格导出;
- 其他OCR: 在线OCR有免费和收费版本,较多,推荐这个,它自持表格识别并转换为xls表格,免费的最大能识别10MB以上的JPG;
  - https://zhcn.109876543210/

1.1.13 Ubuntu18.04下调节字体和鼠标样式及大小

配置ubuntu18.04的字体大小和鼠标大小
- 参考: https://jingyan.baidu/article/a681b0de6ad12c3b1943466d.html
- 说明: 虽说据悉ubuntu18.04弃用了unity界面,但还是根据参考资料,尝试并确认了如下方法可用;
  - 命令: sudo apt-get install unity-tweak-tool //安装了untiy tweak配置台;
  - 完成后请搜索"tweak"关键字, 找到并打开tweak后,可以font样式大小,也可以配置鼠标样式大小(但大小不能自由调节);

1.1.14 Ubuntu18.04下测网速

ubuntu18.04的网络测速
- 问题: 因网络不稳定,尤其是路由器滚烫,网络连不上,所以想测试网速,而ubuntu没有类似win下360的宽带测速器,方法如下;
- 参考: https://wwwblogs/linuxprobe/p/5728126.html
- 命令:
```
sudo apt-get install speedtest-cli  //安装speedtest-cli, 及设你是python3且升级到pip3命令
speedtest-cli --h  //查看帮助
speedtest-cli --share  //执行网络测速命令
speedtest-cli --list   //获取测速使用的speedtest网站配置的各个目标网站的名字和距离公里数的大列表;
```
- 在线UI界面: speedtest也提供在线界面供查看测试过程和结果:http://www.speedtest/http://www.speedtest/)

1.1.15 查看Ubuntu18.04的硬件配置

查看ubuntu硬件配置
- 方法1: 命令sudo lshw //返回CPU/MEM/DISK/GPU/USB等信息
- 方法2: 在搜索中输入"system", 打开"system profiler and benchmark", 其实就是将lshw的图形化,看起来方便而已;
特别主义,ubuntu这个linux系统,对于笔记本电脑的充电模式或电池模式的切换处理,及USB设备的激活等,不是特别好,建议:
- 如果无线USB/WIFI鼠标,甚至touchpad和键盘无效了,请插入电源再试试看;
- 或者因为电源模式变化,导致无法登录,鼠标动但键盘无效无法输入密码,则可以尝试短按power键来休眠并恢复,尝试激活键盘;

1.1.16 Ubuntu18.04的apt-get命令如何安装指定版本?

apt-get安装指定版本
- 命令: sudo apt-get install package=version

1.1.17 Ubuntu18.04的ufw的简易防火墙操作

ubuntu的ufw安装和使用
- TODO: ubuntu的ufw安装和使用

2. Special Topic Hints

2.1 Programming

2.1.1 版本管理

2.1.1.1 GIT

2.1.1.1.1 如何从本地PUSH分支改动到多个远端GIT仓库(假设远端GIT仓库为多个备份镜像库且内容相同) ?

参考: 请自查摆渡/谷歌/BING,关键字"git push到多个远端仓库";

方法: 项目目录下有个隐藏的".git"目录,修改其下的配置文件".git\config":


# 在.git\config文件添加如下独立小节,"<>"之间内容需根据实际情况变化,以下是举例:
  [remote "all-remote-git(gitee/github/gitlab)"]
  url = https://gitee/<user-account>/<repo-name>.git
  url = https://github/<user-account>/<repo-name>.git
  url = https://gitlab/<user-account>/<repo-name>.git

2.1.1.2 GIT仓库

2.1.1.2.1 无法注册新GITLAB帐号且忘记老帐号密码怎么办?

如果无法注册GITLAB帐号,可能是因为register new account需要用到google的认证图形识别控件,但国内被墙了,请FQ再测试;
- 你也可以用github帐号,授权其登录gitlab,一样用,还更方便和一致,忘记密码也可以恢复如下描述;
如何进入gitlab帐号(忘记密码和关联email的情况下)?
- 如果gitlab帐号和github同名或绑定; 那么用github帐号登录到gitlab当中, 然后可以修改password和关联email;

2.1.2 JAVA

2.1.2.1 JDK

2.1.2.1.1 JDK安装

ubuntu18.04 安装JDK1.8

参考: https://blog.csdn/u010307119/article/details/52081429;
- 含多版本JDK的默认配置修改,最后部分描述,如果只安装一个版本的JDK就不需要设定默认级别并启用了.
下载: http://www.oracle/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
- 需注册oracle帐号,随意用一个email注册就行;
安装:


sudo tar xvzf jdk-8u102-linux-x64.tar.gz //解压二进制安装包(非源码包需要编译)
sudo chmod 777 /etc/profile   //如果profile文件是644模式,可以先转变为777,修改完了再chmod回去;
sudo vi /etc/profile  //配置环境文件
#在profile文件尾部添加
    #set java environment
    export JAVA_HOME=/home/goodong/Downloads/jdk1.8.0_162 
    export JRE_HOME=${JAVA_HOME}/jre  
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
    export PATH=${JAVA_HOME}/bin:$PATH

java -vesion 或 javac //测试java安装是否正常,显示出版本号则算完成; 

#多JDK版本设定:
  sudo update-alternatives --install "/usr/bin/java" "java" "/home/youraccount/tool/jdk1.8.0_162/bin/java" 1 
  设置JRE可用: sudo update-alternatives --install "/usr/bin/javac" "javac" "/home/youraccount/tool/jdk1.8.0_162/bin/javac" 1 
  设置JDK可用: sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/home/youraccount/tool/jdk1.8.0_162/bin/javaws" 1 
  设置Java Web可用: sudo update-alternatives --set java /home/youraccount/tool/jdk1.8.0_162/bin/java 
  设置Java运行时环境: sudo update-alternatives --set javac /home/youraccount/tool/jdk1.8.0_162/bin/javac 
  设置Javac编译器:  sudo update-alternatives --set javaws /home/youraccount/tool/jdk1.8.0_162/bin/javaws

# 其他JDK版本情况: JDK9据悉不太好用,JDK10目前较新,用的人不多,还需要观察!

2.1.3 DataBase

2.1.3.1 MYSQL

2.1.3.1.1 MYSQL的安装

ubuntu下安装mysql
- 参考: https://ask.csdn/questions/376087, 释放tar.gz版本并安装;
- 错误1: /usr/local/mysql3306/bin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory;
  - 则需安装 sudo apt-get install libaio-dev //安装mysql需要的库


    修改默认密码: mysql安装的时候会提示,其默认root的密码是"#P;eijqF<1Y6",千万别忘记,记录下来,
                然后登录后mysql会会被要求必须马上修改密码并提示错误如下：You must reset your password using ALTER USER statement before executing this statement. 
                你可以执行如下命令(参考:https://blog.csdn/dotalee/article/details/72576667)
    ALTER USER 'root'@'localhost' IDENTIFIED BY '12345678' PASSWORD EXPIRE NEVER;   //重设密码且永不过期
    ./mysqladmin -u root -p shutdown //关闭mysql (参考链接:https://blog.csdn/zyc_love_study/article/details/74347977)
    ps -ef|grep mysql  //查看mysql进程;

2.1.4 Testing

2.1.4.1 JMeter

2.1.4.1.1 JMeter的安装

参考: https://wwwblogs/EasonJim/p/7443875.htmlhttps://wwwblogs/EasonJim/p/7443875.html)
官网老版本下载链接: https://archive.apache/dist/jmeter/binaries/

安装:


tar -zxvf apache-jmeter-4.0.tgz    //解压缩二进制包
sudo mv apache-jmeter-4.0 /usr/local/apache-jmeter-4.0/        //拷贝到合适的目录
sudo ln -s /usr/local/apache-jmeter-4.0/ /usr/local/jmeter     //建立软链接,是调用时候不用了解版本,方便以后升级,方法类似cuda的安装和配置
/usr/local/jmeter/bin/jmeter.sh  //启动jmeter
ps -ef|grep jmeter   //查看进程并可kill杀掉无用jmeter进程

2.1.4.1.2 JMeter的分布式测试

分布式JMETER使用指南
- A.场景:
  - 1台win10(master兼slave)；1台linux的slave; 两者同一网段,能ping通(如果不同网段TCP包能路由到也行);
    - master是主控jmeter,slave(也叫agent)是受控jmeter,master自己也可以作为一个slave被自己控制;
  - master如果独自自己使用,直接启动"../bin/jmeter"就行(win10下是运行"..\bin\jmeter.bat");
  - agent需要被控制,则应该先自行启动"../bin/jmeter-server"就行(win10下是运行"..\bin\jmeter-server.bat");并等待被master控制和启停任务;
  - 如果master自己也做为一个agent来运行测试脚本,而且自己也作为主控master,则必须先参照agent启动"jmeter-server"命令,然后再启动用于主控的"jmeter"命令;
  - 以上是简述场景情况及启动顺序,具体配置如下,配置妥当方能启动命令,执行主控和被控的多个jmeter来分布式执行test脚本,联合压测;
- B.配置agent(slave)受控jmeter端:
  - 在agent机器上需修改"..\jmeter\bin\jmeter.properties",如下:
    - remote_hosts=10.30.33.121:1099 //121是agent本机内网IP,端口一般为1099,不清楚则不要修改;
    - server.rmi.ssl.disable=true //默认是注释掉的,如果不想要设定ssl(安全但配置复杂),则必须在这行显式的设定为true,以便jmeter知道关闭ssl的使用!
  - 在agent机器上还要修改启动脚本"..\jmeter\bin\jmeter-server",如下:
    - RMI_HOST_DEF=-Djava.rmi.server.hostname=10.30.33.121 //默认是注释掉的,因jmeter可能有BUG,会报错,则需打开,并添加agent的IP;
    - ${DIRNAME}/jmeter ${RMI_HOST_DEF} -Dserver_port=${SERVER_PORT:-2099} -s -j jmeter-server.log "$@" //仅修改为2099端口,为了不合1099端口冲突;
      - 如果是win环境,则"..\jmeter\bin\jmeter-server"内容和ubuntu下不同,也不能如此配置,目前看win下没有bug,无需修改此命令文件;
  - 启动agent机器,运行"..\jmeter\bin\jmeter-server" //用&结尾放在后台运行也行,但看不到log输出,建议前台运行;
    - terminal里面看到"Created remote object: UnicastServerRef2 [liveRef: [endpoint:10.30.33.121:32881,objID:[-a8824d7:16390698d96:-7fff, 3759878571045247869]]]"则agent启动正常,等待master管理；
    - master机器自己也作为agent的话,同样需要先配置如上并启动,等待自己的另一个主控进程接管;
    - agent收到master的任务的下发和任务结束式,会打印log"...start..."和"...finish";
    - 可以将agent的log级别调为debug模式,方便排错;具体配置文件是"log4j2.xml"
- C.配置master主控jmeter端:
  - master机器上需修改"..\jmeter\bin\jmeter.properties",如下:
    - remote_hosts=10.30.33.121:2099, 10.30.33.122:1099 //2099是匹配上述agent121的,而1099是master自己也作为agent用的默认1099,两者也可以一样;
    - server.rmi.ssl.disable=true //这个配置和agent一样,都显式关闭ssl;
    - win10版本的jmeter4.0的jmeter-server.bat没有bug,无需修改!而如果是linux做agent,则脚本jmeter-server就要如上述agent来修改!
  - master机器也希望能作为agent工作,那么需先启动"jmeter-server.bat"命令;
    - win操作系统下的"jmeter-server.bat"命令无BUG,所以无需像上述B当中的描述来修改linux下的"../jmeter/bin/jmeter-server"命令;
  - 启动jmeter.bat主控程序;
    - 启动分布式测试任务: 在"start remote"菜单的子菜单看到了所有agent的列表(举例有121和122自己)；可以单个或全部启动agent；
      - remote的操作,容易超时,容易返回错误,建议一个个启动agent,如果数量不多的话;网络好,机器快,脚本简单则可以一起启动;
    - 启动单机模式测试任务: 即便在以上情况,agent都在线能看见受控,但也可以不用菜单"start remote", 而直接用"start"菜单来忽略分布式任务下发,而让master当作单机模式使用,自己执行脚本;
    - 分布式模式下,主控master机器上,建议用"聚合报告"查看测试结果,并确认多个agent的CPU/MEM;并用"结果树"只看偶发错误;
- D.问题排查:
  - 如果master可以下任务给slave,能通,但debug级别日志报错(jmeter-server.log),可能网络复杂,举例如下:
    - 比如master或slave开了虚拟机和虚拟网卡导致多个IP地址,网络情况复杂,你需要关闭和禁用其他IP,并重新下发任务到agent来尝试;
  - 分布式测试情况下,主控master会分发脚本任务给多个agent,但不会下发数据,需自己拷贝数据(尤其是大量数据);
  - 如果master和agent上面目录不一样,或者1个win和1个ubuntu linux,则测试脚本一旦配置了路径,则格式不对,肯定报错,文件名是通用的;
    - 建议将数据放在"..\jmeter"或"..\jmeter\bin"下,而在脚本中不要配置path,这样就做到了脚本在多个OS下兼容;
  - 如果端口1099,2099等没有通,主控master无法发任务到agent,而不是任务执行时候debug的log日志报错,则多半是防火墙屏蔽了端口port;
    - 建议如果是WIN,进入控制面板,可以设定防火墙的路由规则,可以放开port口的出入,也可以将master/agent的ip都列为全部放开!
    - 如果是linux,比如ubuntu,则可以用iptables防火墙设定规则来放开PORT或IP,因为最新ubuntu18.04简化了iptables,用工具UFW来控制防火墙,请查相关脚本,UFW使用较为方便!

2.2 机器学习

2.2.1 环境安装

2.2.1.1 ubuntu

2.2.1.1.1 ubuntu18.04环境安装机器学习环境TF的三件套CUDA-CUDNN-TENSORFLOW

1.查看nvidia显卡配置


  # 查看N卡GPU的配置
  nvidia-smi

  # 查看N卡的图形界面配置
  nvidia-settings 

  # 命令:查看nvidia卡型号;
  $ lspci | grep -i nvidia
  # 返回内容: 01:00.0 VGA compatible controller: NVIDIA Corporation GM107M [GeForce GTX 960M] (rev a2)

2.安装cuda的折腾过程
- 参考(较好): http://www.zhimengzhe/bianchengjiaocheng/qitabiancheng/415560.html
- 过程简述:
  - 首先尝试记忆中GTX960M显卡只能支持的最高CUDA6+CUDNN5的组合配置安装;
  - 官网查了硬件型号,匹配的就是CUDA6+CUDNN5,因为CUDNN是神经网络NN加速库,主要看cuda;
  - 但很快发现tf官网说即将最低支持cuda8,这怎么办?
  - 查帖子发现也有人在GTX960M上安装CUDA8,所以猜测:只要N卡安装上驱动driver,而driver版本关联到CUDA,cuda关联到cudnn,tf也关联CUDA版本,大胆猜测是这个逻辑;
  - 按照以上逻辑,贪心下载了CUDA9.1,越到了安装问题,解决后发现TF不支持,惨;
  - 找贴发现可以安装多个CUDA版本,只要路径配置得当就行了,不像WIN系统有个黑盒子注册表!
  - 查了TF的GITHUB管网的release里面1.8.0等最新几个release-note信息,并查关键字CUDA,发现只支持到CUDA9.0;于是下决心安装它;
  - NVIDIA官网不用注册就能随意下载CUDA(但CUDNN需要注册下载),速度都很快,于是下载runfile(目前发现,我忘记安装patch补丁,只安装了CUDA9.0的主程序,目前也能用!)
  - 按照上述神贴方法,考虑到ubuntu18.04已经将GTX960M的显卡升级到最新的390的drvier驱动,而且神贴说只要driver版本接近(帖子说AAA.BB小版本BB可以不一样),但我发现CUDA9.0只支持到387,和390很接近,大胆尝试,居然安装上去了.主要安装CUDA9.0的时候不要第一步就安装它自带的才387的driver显卡驱动,否则显卡驱动的安装将极其复杂!
  - 顺利安装完CUDA9.0,按提示和神贴设定路径,然后注册NVIDA官网,下载配套CUDNN712,并同样runfile安装,并参考另外帖子(下面详述)复制文件和做链接及path等;
  - 最后pip3 install tensorflow-gpu
  - 需要keras的就pip3 install tensorflow-gpu

3.安装cuda9.1/CUDA9.0/CUDA较高版本(cuda安装包提示最高支持ubuntu17.10,别管它,其实18.04照样安装!没事!)


  A.执行cuda9.X的run安装文件出现问题

    Error: unsupported compiler: 7.3.0. Use --override to override this check.
    sudo sh ./cuda_9.1.85_387.26_linux.run --override   //添加这个参数来屏蔽这个报错! 于是可以继续安装了! 看到如下结果,基本OK.

= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-9.1
Samples:  Installed in /home/ya/cuda9-samples

Please make sure that
 -   PATH includes /usr/local/cuda-9.1/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-9.1/lib64, or, add /usr/local/cuda-9.1/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-9.1/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-9.1/doc/pdf for detailed information on setting up CUDA.

WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 384.00 is required for CUDA 9.1 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run -silent -driver

Logfile is /tmp/cuda_install_13322.log
Signal caught, cleaning up

---------------------


  B 设定配置(参照上面提示)

$ sudo vim /etc/profile
在打开的文件末尾，添加以下两行。

64位系统：
$ export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
$ export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} 

32位系统：
$ export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
$ export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

  C 安装完毕CUDA9.x,还需安装如下lib

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

  D 最后reboot,并用如下命令测试,看是否安装CUDA9.X正确

$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Nov__3_21:07:56_CDT_2017
Cuda compilation tools, release 9.1, V9.1.85

4.安装cudnn7.1.2(配套CUDA9.X)
- 官网下载 (需免费注册nvidia会员)
- 释放后做些拷贝和路径设定就行,参考以上CUDA的神贴,较简单.
5.安装TF-CUDA-CUDNN经验
- 首先,目前GPU做的最好的是N卡(NIVIDA显卡),不仅硬件好,驱动,CUDA平台,CUDNN神经网络加速库都好,远超其他显卡;目前其他显卡无法加速神经网络!!!
- 其次,你有幸买了N卡,且准备搞深度学习,最著名的开源框架TF(Tensorflow),Pytorch,以及高级库keras等等,一般都支持CUDA/CUDNN,先选其一学习吧;
- 再则,有了N卡,比如我的GTX960M(游戏本的,但是不打游戏),关键是配套驱动driver要不断升级,比如跟着ubuntu18.04,最新升级到了390.xx的版本;
  - N卡的驱动driver版本AAA.XX(比如390.xx),它配套CUDA,也就是说CUDA库会说明需要drvier升级到何版本,一般xx不同没关系,AAA最好一样;
    - 笔者经验:AAA相差小的没关系,而且新的driver一般向下兼容,旧的AAA就必须升级了;(如果上N卡官网查你的硬件比如GTX960M,它自动匹配的CUDA很低,不要信!否则绝望!)
  - CUDNN是配套cuda的版本的;
  - TF也是配套cuda的版本的;
- 安装依赖路径: GTX960M-->DRIVER FOR UBUNTU18.04(390.XX) -->CUDA9.0(9.X)-->CUDNN7.1.2/TF1.8.0-->KERAS
  - TF马上最低支持cuda8.0了,请尽快升级driver,以便升级到cuda8/9/..,来使用配套的TF/CUDNN,老硬件N卡照样用!
- 这里仅仅是我这种硬件软件配置的成功案例,供看管参考,不代表原理和其他软硬件配置都能成功,还需尝试!!!
  - 另外,我CUDA的几个patch忘记安装了,估计是它修改兼容性和BUG的,目前不出其他问题,我就不安装了,怕有问题;

2.2.1.1.2 ubuntu18.04环境安装OpenAI的GYM的强化学习环境

1.安装GYM环境
- 通常做法,用命令: pip3 install gym[all] //这里假设ubuntu已经安装升级了python3和pip3,且按照上述方法切换默认python为PY3而不是PY2;
- 问题:一般你会遇到结果提示,Box2D和atari-py安装失败,重复上述命令,再次安装全部gym[all],就更清晰的看到只有此2模块没有安装成功(和win10一致);
2.安装swig
- 如上述2个模块安装失败,发现一个错误是没有swig,和win10一样,到官网下载对应的swig版本,win10下是exe(能成功),ubuntu用命令(能成功);
- sudo apt-get install swig
- swig下载:http://www.swig/download.html

3.安装gym的Box2D-kengz的物理引擎

gym是个全家桶,里面包含了多种物理引擎Box2D等,游戏环境Atari等,是个用于研发和调测强化学习RL的好环境;
先再次安装,改个名字: pip3 install gym[Box2D] //单独命令安装Box2D,而不是all,也不是原来过时的Box2D-kengz
安装成功后,如下测试:

测试Box2D物理引擎是通过激活如下的小游戏CartPole:

用如下命令来测试Box2D是否安装成功,如果失败,只会出现白框,而没有杆子!
python //进入python,最好是PY3
import gym  //load gym库,这里不能有报错
env = gym.make("CartPole-v0")  //新建一个树立杆子的游戏环境
env.reset() //初始化
env.render()  //渲染,此时会弹出dialog,里面有杆子!就算OK了!
env.close()  //关闭env环境,dialog不能被gui关闭,只能用本行命令关闭!

4.安装gym的Atari-py的小游戏强化环境集合
- 单独安装: pip3 install gym[atari-py] //报错一样,显示可能cmake有问题(win10下就需要安装MingGW等环境,最终没时间弄下去)
- 安装cmake: sudo apt-get install cmake //cmake是ubuntu操作系统lib库,不是python库,所以用apt而不是pip3来安装;
- 然后再安装atari-py: pip3 install gym[atari] //成功
- 如果报错如下,请进入该报错提示的目录,需要额外手动生成缺漏的so文件,src源码在atari该目录,进入该目录直接make就能生成!
  - OSError: /home/ya/atari-py/atari_py/ale_interface/build/libale_c.so: cannot open shared object file: No such file or directory
  - 请进入/home/youraccount/atari-py/atari_py/ale_interface/ //此时没有build目录和文件libale_c.so
  - 在该目录看到了makefile文件和src目录,猜测是没有编译出so文件!
  - 在该目录直接运行命令make,它自动编译同目录的makefile编译编辑脚本,于是so文件有了,再次测试!!!通过了!!!
  - atari 安装完成!!!!
```
测试:
python //进入python,最好是PY3
import gym  //load gym库,这里不能有报错
env = gym.make("SpaceInvaders-v0")  //新建一个打飞机游戏环境(这里可能会报错如下!!!)
env.reset() //初始化
env.render()  //渲染,此时会弹出dialog,里面有飞机!就算OK了!
env.close()  //关闭env环境,dialog不能被gui关闭,只能用本行命令关闭!
```
5.运行RL强化学习的例子
- 强化学习RL很有趣,最近在学习,看了一些morvan的教程(github查找关键字"morvan"得到的第一个结果)
- 跑一个普通RL例子,虽然import里面不需要纯python的图形库tkinter,但是matplotlib著名py的画图库需要,则要做如下安装:
  - 安装tkinter: sudo apt install python3-tk //特别注意,不是 sudo apt install python-tk!!!

2.3 大数据

2.3.1 日志

2.3.1.1 ELK

2.3.1.1.1 安装ELK

ubuntu18.04下安装ELK日志分析套件
- 官网: https://github/elastic, 它维护了多个ELK组件,包括xpack(即将开源)机器学习组件;
- TODO: 带添加安装ELK步骤;

3. END

转载于:https://wwwblogs/taichu/p/9095062.html

本文标签：电脑 hints Computer

版权声明：本文标题：2018-05-27-computer-using-hints-电脑使用帮助[持续更新] 内容由网友自发贡献，该文观点仅代表作者本人，转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1729142108h1323071.html，本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。

技术交流 – FreeNAS中文网

2018-05-27-computer-using-hints-电脑使用帮助[持续更新]

2018-05-27-computer-using-hints-电脑使用帮助

Content

1. Basic OS Hints

1.1 Ubuntu

1.1.1 Ubuntu18.04如何切换默认的python版本?

1.1.2 Ubuntu18.04如何安装摆渡云盘客户端(不是摆渡云同步客户端)?

1.1.3 如何通过ssh终端(比如在WIN10)登录Ubuntu18.04平台?

1.1.4 Ubuntu18.04如何安装QQ?

1.1.5 Ubuntu18.04如何安装chrome?

1.1.6 Ubuntu18.04如何安装pycharm?

1.1.7 Ubuntu下如何安装循环依赖的lib库?

1.1.8 Ubuntu18.04解决USB无线鼠标插入后无法使用的问题?

1.1.9 Ubuntu18.04下计算SHA1和MD5值?

1.1.10 Ubuntu18.04下文件目录比较工具(类似beyondcompare)?

1.1.11 Ubuntu18.04下安装类似notepad++的文本工具

1.1.12 Ubuntu18.04下安装OCR工具(tesseract)

1.1.13 Ubuntu18.04下调节字体和鼠标样式及大小

1.1.14 Ubuntu18.04下测网速

1.1.15 查看Ubuntu18.04的硬件配置

1.1.16 Ubuntu18.04的apt-get命令如何安装指定版本?

1.1.17 Ubuntu18.04的ufw的简易防火墙操作

2. Special Topic Hints

2.1 Programming

2.1.1 版本管理

2.1.1.1 GIT

2.1.1.1.1 如何从本地PUSH分支改动到多个远端GIT仓库(假设远端GIT仓库为多个备份镜像库且内容相同) ?

2.1.1.2 GIT仓库

2.1.1.2.1 无法注册新GITLAB帐号且忘记老帐号密码怎么办?

2.1.2 JAVA

2.1.2.1 JDK

2.1.2.1.1 JDK安装

2.1.3 DataBase

2.1.3.1 MYSQL

2.1.3.1.1 MYSQL的安装

2.1.4 Testing

2.1.4.1 JMeter

2.1.4.1.1 JMeter的安装

2.1.4.1.2 JMeter的分布式测试

2.2 机器学习

2.2.1 环境安装

2.2.1.1 ubuntu

2.2.1.1.1 ubuntu18.04环境安装机器学习环境TF的三件套CUDA-CUDNN-TENSORFLOW

2.2.1.1.2 ubuntu18.04环境安装OpenAI的GYM的强化学习环境

2.3 大数据

2.3.1 日志

2.3.1.1 ELK

2.3.1.1.1 安装ELK

3. END

更多相关文章

电脑-- win10的激活和使用问题

想新建一个文档但电脑只能新建文件夹并且要提供管理员权限怎么办？ win11突然只能新建文件夹了怎么办？

计算机无法安装windows系统,windows11安装不了 提示这台电脑无法运行windows11

通过SSH远程登录Windows电脑的详细指南

ThinkPad按数字4电脑黑屏问题的处理方法

电脑开机键盘鼠标显示器都不亮的解决方法

windows系统平板电脑性价比排行

Android平板软件推荐,Android平板电脑必备软件推荐

计算机无法启动打印服务,电脑重启print spooler服务无法启动怎么处理

win10电脑重装系统win7步骤教程

新电脑（重装系统后）上手做的第一件事

误删了efi分区，怎么样恢复，使电脑开机回到windows

小米PC电脑手机互联互通，小米妙享，小米电脑管家，老款小米笔记本怎么使用，其他品牌笔记本怎么使用，一分钟教会你

电脑c盘满了怎么清理垃圾？C盘满了快速清理的教程

电脑开始使用之前没做好准备，越到后面越后悔

查看腾讯管家劫持，解决腾讯电脑管家劫持IE新建选项卡

win11系统电脑wifi功能消失怎么办？

【系统篇】电脑小白系列-重装系统

Windows Vista, Windows 7, Snipping tool 无法工作，提示需要从新启动电脑

Windows电脑微信双开教程，简单且高效

发表评论

推荐文章

偷学计算机的一点捷径

Python爬虫简单实现Q乐园图片下载

腾讯 爱奇艺服务器（网址）无法访问（打不开，没有网络）

Windows 客户端操作系统和服务器操作系统的对应关系

【ChatGPT】让ChatGPT生成跨语言翻译的精确提示

热门文章

chrome历史版本及重大变化(维基百科)

计算机无法安装windows系统,windows11安装不了提示这台电脑无法运行windows11

腾讯爱奇艺服务器（网址）无法访问（打不开，没有网络）

（Windows系统）详细介绍Windows系统含有英文版