DataX简介

设计理念

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

hadoop 源码的编译（v2.7.6）

Hadoop是使用Java语言开发的，但出于性能、安全等角度考虑，hadoop部分功能（如压缩）使用系统本地库(Native Libraries)实现。本地库是由C/C++编写的动态库xxx.so（windows下对应xxx.dll文件），并通过JNI(Java Native Interface)机制为java层提供接口。由于不同的处理器架构，需要编译出相应平台的动态库(xxx.so)文件，才能被正确的执行，所以最好重新编译一次hadoop源码，让xxx.so文件与自己处理器相对应。如下是编译hadoop应用的一般步骤：

为什么要制作本地YUM源

YUM 源虽然可以简化我们在 Linux 上安装软件的过程，但是生成环境通常无法上网，不能连接外网的 YUM 源，说以接就无法使用 yum 命令安装软件了。为了在内网中也可以 使用 yum 安装相关的软件，就要配置 yum 源。
YUM源其实就是一个保存了多个 RPM 包的服务器，可以通过 http 的方式来检索、下载并安装相关的 RPM 包。

简介

什么是Selenium?

• 一套软件工具，用来支持不同的自动化测试框架
• 跨平台：linux、windows、mac，支持多种编程语言
• 核心功能就是可以在多个浏览器上进行自动化测试
• 目前已经被google , 百度， 腾讯等公司广泛使用
• 能够实现类似商业工具的大部分功能，并且还实现了商业工具不能支持的功能

开启网卡

CentOS7默认不启动网卡的（ONBOOT=no)，需要编辑ifcfg-xxx去开启。

1
2
3

$ vi /etc/sysconfig/network-scripts/ifcfg-xxx
$ service network restart
$ ip addr