记配置20遍spark多机分布式环境

背景 最近由于论文的关系，设计的算法需要在分布式环境下，测试算法的通信时间通信代价，于是尝试配置了多台机器的分布式环境。由于配置过程较为复杂，其中也遇到许许多多问题，由于各式各样的因素，不得不一直转换不同的环境，完成机器的配置。虽然由于水平不足，犯了许多不必要的配置错误，有的问题看起来比较愚蠢，但为了之后避免踩入相同的坑，也就将这一路以来，不断配置更新的过程写成文章，以方便查找。 配置20遍 最初使用的平台是人大校级计算平台，在这个平台上，可以申请一定数量的机器，然后以科研结果作为经费抵扣。使用此平台的原因是之前有前辈在上面配置过 Spark 环境，而我有一定机会可以直接利用他配置好的成果，然而事情并没有像我想象的那么简单。此时出现了两个主要的问题，其一是该环境并没有真正配置yarn，并不能做到真正的并行；其次实际上此平台的集群是在一个大机器上分割出的小虚拟机组成集群，这样的集群实际上的通信代价是非常低的，这无法体现出我们算法的优势，因此我不得不寻找其他平台。之后就在组里先找了6台服务器，直接利用这6台服务器搭建一个集群，虽然机器数目少一点，但平摊下来，每个机器都比原来的配置要更好。当然事情不会那么顺利，由于我实验操作的数据量极大，我不断试探服务器计算能力的上限，最终这些服务器也难堪重负，纷纷内存耗尽、磁盘耗尽，引发了一系列不好的连锁反应，究其原因是我没有做docker环境隔离（要学的东西还很多）。由于当时论文ddl在即，让我只能在夜间跑代码，完全是不可能完成目标的，因此我不得不使用阿里云下的服务器。之后就搞了16台阿里云服务器，并在上面配置真·分布式环境，此时我已经有了十次左右配置环境的经验，但哪怕如此，又经历了经费不足、神秘bug等等意想不到的问题，但我最终还是勉强完成了论文，初次投稿当然还是被拒了。之后改投论文的过程中，吸取了服务器可能很容易崩，随时可能换机器的现实，尽可能地将许多作业改为了批处理，终于又配置了很多次，最终完成了实验和论文。 分布式环境的成分 HDFS 虽然说使用 Spark without Hadooop 从一定程度上配置或许会简单一点，但为了比较清晰地感受分布式环境，并更好地存储数据，我还是采用了 Hadoop 与 Spark 分开配置的策略，这里使用的 Hadoop 版本为 3.3.1。 （HDFS 其实就是一个分布式的文件管理系统，将数据分布式的存储在不同的机器上，一方面可以存的更多，一方面也是可以使得处理数据更快，数据直接分布在不同机器上，也就省去了从主机向其他机器发送数据的通信过程。） SPARK 这里使用Spark的版本是3.1.2 （Spark 分布式计算的环境，利用这样已有的环境就不需要自己去写通信、底层调度，也不必担心各种死锁的问题。） 由于我是不太会 Scala 的（但是任意一种语言，稍微看看基础代码我还能做到），为了方便上手，这里使用的是 PySpark，...

有意思的泡泡包

背景 在看图论文时顺藤摸瓜，翻到了别人的博客上，看到了一些有趣的动画，没想到上网一搜发现了这个有趣的js库。 这个js效果简单，但融到博客里也会遇到一些麻烦的问题，在不断尝试下，终于将库改装到了普通的R模板上，之后尝试一下改装到博客里。

Visualization

reveal.js模板

Fragment Styles There's different types of fragments, like: grow shrink fade-out fade-up (also down, left and right!) current-visible Highlight red blue green Transition Styles You can select from different transitions,...

PPT 之remark.js的实现