摘要 CDH5.11集群中，默认安装的spark是1.6版本，需要将其升级为spark2.x版本。 官方文档介绍，spark1.6和2.x是可以并行安装的，可以不用删除默认的1.6版本直接安装2.x版本，它们各自使用的端口也是不一样的。 准备 csd包 下载地址 https://archive.cloudera.com/spark2/csd/ 下载 SPARK2_ON_YARN-...

查看所有进程 mysql -uroot -p > show processlist; 杀死相应的id mysqladmin -uroot -p kill [id]

摘要 swappiness，Linux内核参数，控制换出运行时内存的相对权重。swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换，更高参数值会使内核更多的去使用交换空间。 默认值为60（参考网络资料：当剩余物理内存低于40%（40=100-60）时，开始使用交换空间）。对于大多数操作系统，设置为100可能会影响整体性能，而设置为更低值（甚至为0）则可能减...

摘要 使用CDH配置hdfs 的 namenode 的高可用。 参考地址 https://blog.csdn.net/qq_20641565/article/details/72760455

摘要 HDFS数据跨集群迁移 参考地址 https://blog.csdn.net/aillymo/article/details/81364578

摘要 spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 命令事例 standalone 模式 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py 提交到 yarn ./bin/spark-su...

转义字符书写形势包括以下三种 实体: " 十进制: " 十六进制: " 字符 十进制 十六进制 实体 名称   32 20   空格(SPACE) ...

下载 https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html 注册码 YG5H2-ANZ0H-M8ERY-TXZZZ-YKRV8 UG5J2-0ME12-M89WY-NPWXX-WQH88 UA5DR-2ZD4H-089FY-6YQ5T-YPRX6 GA590-86Y05-48...

摘要 Hadoop集群使用久了,各个节点上的数据会变得不均衡,多的达到70,80%,少的就10,20%。 节点之间负载均衡 对hdfs负载设置均衡 hdfs dfsadmin -setBalancerBandwidth 67108864 # 设置为64M， # 或 hdfs dfsadmin -setBalancerBandwidth 134217728 # 设置为128M， 修...

介绍 HTTP 方法（也经常被叫做“谓词”）告知服务器，客户端想对请求的页面是做些什么。 下面是常见的方法： GET 浏览器告知服务器：只 获取 页面上的信息并发给我。这是最常用的方法。 HEAD 浏览器告诉服务器：欲获取信息，但是只关心 消息头 。应用应像处理 GET 请求一样来处理它，但是不分发实际内容。在 Flask 中你完全无需 人工 干预，底层的 Werkzeug ...