数据可以通过哪些方式来完成装载

1. “etl”是什么

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。

(1)数据可以通过哪些方式来完成装载扩展阅读：
ETL与ELT：

ETL所描述的过程，一般常见的作法包含ETL或是ELT（Extract-Load-Transform），并且混合使用。通常愈大量的数据、复杂的转换逻辑、目的端为较强运算能力的数据库，愈偏向使用ELT，以便运用目的端数据库的平行处理能力。
ETL（orELT）的流程可以用任何的编程语言去开发完成，由于ETL是极为复杂的过程，而手写程序不易管理，有愈来愈多的企业采用工具协助ETL的开发，并运用其内置的metadata功能来存储来源与目的的对应（mapping）以及转换规则。
工具可以提供较强大的连接功能（connectivity）来连接来源端及目的端，开发人员不用去熟悉各种相异的平台及数据的结构，亦能进行开发。当然，为了这些好处，付出的代价便是金钱。

2. 数据收集有哪些方法

数据收集的四种常见的方式包括问卷调查、查阅资料、实地考查、试验，几种方法各有各的又是和缺点，具体分析如下。

四是实验。实验设计数据是四种方法中最耗时间的一种，因为它是通过各种各样的实验来得到一个统一的方向，也就是说，在这个过程中，可能有无数次的失败。但是实验得到的数据是最准确的，而且可能会推动某个行业的进步。所以，实验收集数据的优点是数据的准确性很高，而他的缺点就是未知性很大，不管实验的周期还是实验的结果都是不确定性的。

随着科技的发展和大数据时代的到来，收集数据越来越容易，而大家也应该更注重于保护和利用数据。

3. Android中用什么方法来存储数据，最常的方式是什么 像 QQ 微信的数据如何存储的

Android应用开发中,给我们提供了5种数据的存储方式
1 使用SharedPreferences存储数据
2 文件存储数据
3 SQLite数据库存储数据
4 使用ContentProvider存储数据
5 网络存储数据
不同的业务逻辑,或者需求,用不同的实现方式，以下是这几中数据存储方式的说明用及法:

第一种： 使用SharedPreferences存储数据
SharedPreferences是Android平台上一个轻量级的存储类，主要是保存一些常用的配置比如窗口状态，
一般在Activity中 重载窗口状态onSaveInstanceState保存一般使用SharedPreferences完成，
它提供了Android平台常规的Long长 整形、Int整形、String字符串型的保存。

SharedPreferences类似过去Windows系统上的ini配置文件，但是它分为多种权限，
可以全局共享访问，android123提示最终是以xml方式来保存，整体效率来看不是特别的高，
对于常规的轻量级而言比SQLite要好不少，如果真的存储量不大可以考虑自己定义文件格式。
xml 处理时Dalvik会通过自带底层的本地XML Parser解析，比如XMLpull方式，这样对于内存资源占用比较好。

它的本质是基于XML文件存储key-value键值对数据，通常用来存储一些简单的配置信息。
其存储位置在/data/data/< >/shared_prefs目录下。
SharedPreferences对象本身只能获取数据而不支持存储和修改，存储修改是通过Editor对象实现。

实现SharedPreferences存储的步骤如下：
一、根据Context获取SharedPreferences对象
二、利用edit()方法获取Editor对象。
三、通过Editor对象存储key-value键值对数据。
四、通过commit()方法提交数据。

下面是示例代码：

public class MainActivity extends Activity {
@Override
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.main);

//获取SharedPreferences对象
Context ctx = MainActivity.this;
SharedPreferences sp = ctx.getSharedPreferences("SP", MODE_PRIVATE);
//存入数据
Editor editor = sp.edit();
editor.putString("STRING_KEY", "string");
editor.putInt("INT_KEY", 0);
editor.putBoolean("BOOLEAN_KEY", true);
editor.commit();

//返回STRING_KEY的值
Log.d("SP", sp.getString("STRING_KEY", "none"));
//如果NOT_EXIST不存在，则返回值为"none"
Log.d("SP", sp.getString("NOT_EXIST", "none"));
}
}

这段代码执行过后，即在/data/data/com.test/shared_prefs目录下生成了一个SP.xml文件，一个应用可以创建多个这样的xml文件。
SharedPreferences对象与SQLite数据库相比，免去了创建数据库，创建表，写SQL语句等诸多操作，相对而言更加方便，简洁。
但是SharedPreferences也有其自身缺陷，比如其职能存储boolean，int，float，long和String五种简单的数据类型，比如其无法进行条件查询等。
所以不论SharedPreferences的数据存储操作是如何简单，它也只能是存储方式的一种补充，而无法完全替代如SQLite数据库这样的其他数据存储方式。

第二种： 文件存储数据
关于文件存储，Activity提供了openFileOutput()方法可以用于把数据输出到文件中，具体的实现过程与在J2SE环境中保存数据到文件中是一样的。
文件可用来存放大量数据，如文本、图片、音频等。
默认位置：/data/data/< >/files/***.***。

代码示例：
public void save(){
try {
FileOutputStream outStream=this.openFileOutput("a.txt",Context.MODE_WORLD_READABLE);
outStream.write(text.getText().toString().getBytes());
outStream.close();
Toast.makeText(MyActivity.this,"Saved",Toast.LENGTH_LONG).show();
} catch (FileNotFoundException e) {
return;
}
catch (IOException e){
return ;
}

}

openFileOutput()方法的第一参数用于指定文件名称，不能包含路径分隔符“/” ，如果文件不存在，Android 会自动创建它。
创建的文件保存在/data/data//files目录，如： /data/data/cn.itcast.action/files/itcast.txt ，
通过点击Eclipse菜单“Window”-“Show View”-“Other”，在对话窗口中展开android文件夹，
选择下面的File Explorer视图，然后在File Explorer视图中展开/data/data//files目录就可以看到该文件。

openFileOutput()方法的第二参数用于指定操作模式，有四种模式，分别为：
Context.MODE_PRIVATE = 0
Context.MODE_APPEND = 32768
Context.MODE_WORLD_READABLE = 1
Context.MODE_WORLD_WRITEABLE = 2
Context.MODE_PRIVATE：为默认操作模式，代表该文件是私有数据，只能被应用本身访问，在该模式下，写入的内容会覆盖原文件的内容，如果想把新写入的内容追加到原文件中。可以使用Context.MODE_APPEND
Context.MODE_APPEND：模式会检查文件是否存在，存在就往文件追加内容，否则就创建新文件。
Context.MODE_WORLD_READABLE和Context.MODE_WORLD_WRITEABLE用来控制其他应用是否有权限读写该文件。
MODE_WORLD_READABLE：表示当前文件可以被其他应用读取；
MODE_WORLD_WRITEABLE：表示当前文件可以被其他应用写入。

如果希望文件被其他应用读和写，可以传入： openFileOutput("itcast.txt", Context.MODE_WORLD_READABLE + Context.MODE_WORLD_WRITEABLE); android有一套自己的安全模型，当应用程序(.apk)在安装时系统就会分配给他一个userid，当该应用要去访问其他资源比如文件的时候，就需要userid匹配。默认情况下，任何应用创建的文件，sharedpreferences，数据库都应该是私有的（位于/data/data//files），其他程序无法访问。
除非在创建时指定了Context.MODE_WORLD_READABLE或者Context.MODE_WORLD_WRITEABLE ，只有这样其他程序才能正确访问。

读取文件示例：

public void load(){
try {
FileInputStream inStream=this.openFileInput("a.txt");
ByteArrayOutputStream stream=new ByteArrayOutputStream();
byte[] buffer=new byte[1024];
int length=-1;
while((length=inStream.read(buffer))!=-1) {
stream.write(buffer,0,length);
}
stream.close();
inStream.close();
text.setText(stream.toString());
Toast.makeText(MyActivity.this,"Loaded",Toast.LENGTH_LONG).show();
} catch (FileNotFoundException e) {
e.printStackTrace();
}
catch (IOException e){
return ;
}
}

对于私有文件只能被创建该文件的应用访问，
如果希望文件能被其他应用读和写，
可以在创建文件时，指定Context.MODE_WORLD_READABLE和Context.MODE_WORLD_WRITEABLE权限。

Activity还提供了getCacheDir()和getFilesDir()方法： g
etCacheDir()方法用于获取/data/data//cache目录 getFilesDir()方法用于获取/data/data//files目录。

把文件存入SDCard：
使用Activity的openFileOutput()方法保存文件，文件是存放在手机空间上，
一般手机的存储空间不是很大，存放些小文件还行，如果要存放像视频这样的大文件，是不可行的。
对于像视频这样的大文件，我们可以把它存放在SDCard。
SDCard是干什么的？你可以把它看作是移动硬盘或U盘。
在模拟器中使用SDCard，你需要先创建一张SDCard卡（当然不是真的SDCard，只是镜像文件）。

创建SDCard可以在Eclipse创建模拟器时随同创建，也可以使用DOS命令进行创建，
如下： 在Dos窗口中进入android SDK安装路径的tools目录，
输入以下命令创建一张容量为2G的SDCard，文件后缀可以随便取，
建议使用.img： mksdcard 2048M D:\AndroidTool\sdcard.img 在程序中访问SDCard，你需要申请访问SDCard的权限。

在AndroidManifest.xml中加入访问SDCard的权限如下:
<!-- 在SDCard中创建与删除文件权限 -->
<uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS"/>
<!-- 往SDCard写入数据权限 -->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>

要往SDCard存放文件，程序必须先判断手机是否装有SDCard，并且可以进行读写。
注意：访问SDCard必须在AndroidManifest.xml中加入访问SDCard的权限。

if(Environment.getExternalStorageState().equals(Environment.MEDIA_MOUNTED)){
File sdCardDir = Environment.getExternalStorageDirectory();//获取SDCard目录
File saveFile = new File(sdCardDir, “a.txt”);
FileOutputStream outStream = new FileOutputStream(saveFile);
outStream.write("test".getBytes());
outStream.close();
}

Environment.getExternalStorageState()方法用于获取SDCard的状态，如果手机装有SDCard，并且可以进行读写，那么方法返回的状态等于Environment.MEDIA_MOUNTED。
Environment.getExternalStorageDirectory()方法用于获取SDCard的目录，当然要获取SDCard的目录，你也可以这样写：

File sdCardDir = new File("/sdcard"); //获取SDCard目录
File saveFile = new File(sdCardDir, "itcast.txt");

//上面两句代码可以合成一句：
File saveFile = new File("/sdcard/a.txt");
FileOutputStream outStream = new FileOutputStream(saveFile);
outStream.write("test".getBytes());
outStream.close();

第三种： SQLite数据库存储数据

SQLite是轻量级嵌入式数据库引擎，它支持 SQL 语言，
并且只利用很少的内存就有很好的性能。
此外它还是开源的，任何人都可以使用它。
许多开源项目（(Mozilla, PHP, Python）都使用了 SQLite
SQLite 由以下几个组件组成：SQL 编译器、内核、后端以及附件。
SQLite 通过利用虚拟机和虚拟数据库引擎（VDBE），使调试、修改和扩展 SQLite 的内核变得更加方便。

特点：
面向资源有限的设备，
没有服务器进程,
所有数据存放在同一文件中跨平台，
可自由复制。

SQLite 基本上符合 SQL-92 标准，和其他的主要 SQL 数据库没什么区别。它的优点就是高效，Android 运行时环境包含了完整的 SQLite。

SQLite 和其他数据库最大的不同就是对数据类型的支持，创建一个表时，可以在 CREATE TABLE 语句中指定某列的数据类型，但是你可以把任何数据类型放入任何列中。当某个值插入数据库时，SQLite 将检查它的类型。如果该类型与关联的列不匹配，则 SQLite 会尝试将该值转换成该列的类型。如果不能转换，则该值将作为其本身具有的类型存储。比如可以把一个字符串（String）放入 INTEGER 列。SQLite 称这为“弱类型”（manifest typing.）。 此外，SQLite 不支持一些标准的 SQL 功能，特别是外键约束（FOREIGN KEY constrains），嵌套 transcaction 和 RIGHT OUTER JOIN 和 FULL OUTER JOIN, 还有一些 ALTER TABLE 功能。 除了上述功能外，SQLite 是一个完整的 SQL 系统，拥有完整的触发器，交易等等。

Android 集成了 SQLite 数据库 Android 在运行时（run-time）集成了 SQLite，所以每个 Android 应用程序都可以使用 SQLite 数据库。

对于熟悉 SQL 的开发人员来时，在 Android 开发中使用 SQLite 相当简单。但是，由于 JDBC 会消耗太多的系统资源，所以 JDBC 对于手机这种内存受限设备来说并不合适。因此，Android 提供了一些新的 API 来使用 SQLite 数据库，Android 开发中，程序员需要学使用这些 API。

数据库存储在 data/< 项目文件夹 >/databases/ 下。 Android 开发中使用 SQLite 数据库 Activites 可以通过 Content Provider 或者 Service 访问一个数据库。

下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。在 Android 应用程序中使用 SQLite，必须自己创建数据库，然后创建表、索引，填充数据。

Android 提供了 SQLiteOpenHelper 帮助你创建一个数据库，你只要继承 SQLiteOpenHelper 类，就可以轻松的创建数据库。SQLiteOpenHelper 类根据开发应用程序的需要，封装了创建和更新数据库使用的逻辑。

SQLiteOpenHelper 的子类，至少需要实现三个方法：

1 构造函数，调用父类 SQLiteOpenHelper 的构造函数。这个方法需要四个参数：上下文环境（例如，一个 Activity），数据库名字，一个可选的游标工厂（通常是 Null），一个代表你正在使用的数据库模型版本的整数。

2 onCreate（）方法，它需要一个 SQLiteDatabase 对象作为参数，根据需要对这个对象填充表和初始化数据。

3 onUpgrage() 方法，它需要三个参数，一个 SQLiteDatabase 对象，一个旧的版本号和一个新的版本号，这样你就可以清楚如何把一个数据库从旧的模型转变到新的模型。

第四种 使用ContentProvider存储数据 ContentProvider其实也是通过数据库的方式来存储数据的,因此这里不再做详细介绍

第五种 网络存储数据 也就是说将数据保存在服务器,android上只需要通过httpclient发起一个请求,向服务器获取数据即可

4. 数据装载一般通过()英寸软盘安装

3.5英寸。数据装载一般通过3.5英寸软盘安装。企业一直使用3.5英寸软盘装载导航数据库。然而困搏，相比U盘等存储设备，春尺余软盘扒滚容量小、易损坏，已逐渐在市场上消失。伴随公司队规模的扩大，软盘损坏的情况越来越多，其不稳定性也严重阻碍了导航数据库的正常制作和装载。

5. 数据采集的方法有哪些 数据采集的基本方法

1、数据采集根据采集数据的类型可以分为不同的方式，主要方式有：传感器采集、爬虫、录入、导入、接口等。

2、数据采集的基本方法:

（1）传感器监测数据：通过传感器，即现在应用比较广的一个词：物联网。通过温湿度传感器、气体传感器、视频传感器等外部硬件设备与系统进行通信，将传感器监测到的数据传至系统中进行采集使用。

（2）第二种是新闻资讯类互联网数据，可以通过编写网络爬虫，设置好数据源后进行有目标性的爬取数据。

（3）第三种通过使用系统录入页面将已有的数据录入至系统中。

（4）第四种方式是针对已有的批量的结构化数据可以开发导入工具将其导入系统中。

（5）第五种方式，可以通过API接口将其他系统中的数据采集到本系统中。

6. 数据在计算机的存储方式有哪几种数据库的主要功能是什么有哪些主要的数据库管理系统

数据在计算机中的存储方式

数据有数值型和非数值型两类，这些数据在计算机中都必须以二进制形式表示。一串二进制数既可表示数量值，也可表示一个字符、汉字或其他。一串二进制数代表的数据不同，含义也不同。这些数据在计算机的存储设备中是如何进行组织存储的？

数据单位

· 位（bit）

位(bit)，音译为“比特”，是计算机存储设备的最小单位，由数字0或1组成。

· 字节（Byte）

字节(Byte)，简写为“B”，音译为“拜特”，简写为“B”。8个二进制位编为一组称为一个字节，即：1B = 8bit。字节是计算机处理数据的基本单位，即以字节为单位解释信息。通常，一个ASCII码占1个字节；一个汉字国标码占2个字节；整数占2个字节；实数，即带有小数点的数，用4个字节组成浮点形式等。

· 字（word）

计算机一次存取、处理和传输的数据长度称为字，即：一组二进制数码作为一个整体来参加运算或处理的单位。一个字通常由一个或多个字节构成，用来存放一条指令或一个数据。

· 字长

一个字中所包含的二进制数的位数称为字长。不同的计算机，字长是不同的，常用的字长有8位、16位、32位和64位等，也就是经常说的8位机、16位机、32位机或64位机。例如，一台计算机如果用8个二进制位表示一个字，就说该机是八位机，或者说它的字长是8位的；又如，一个字由两个字节组成，即16个二进制位，则字长为16位。字长是衡量计算机性能的一个重要标志。字长越长，一次处理的数字位数越大，速度也就越快。

存储设备

用来存储信息的设备称为计算机的存储设备，如内存、硬盘、软盘及光盘等。不论是哪一种设备，存储设备的最小单位是“位”，存储信息的单位是字节，也就是说按字节组织存放数据。

· 存储单元

表示一个数据的总长度称为计算机的存储单元。在计算机中，当一个数据作为一个整体存入或取出时，这个数据存放在一个或几个字节中组成一个存储单元。存储单元的特点是，只有往存储单元送新数据时，该存储单元的内容用新值代替旧值，否则永远保持原有数据。

· 存储容量

某个存储设备所能容纳的二进制信息量的总和称为存储设备的存储容量。存储容量用字节数来表示，如：4MB、2GB等，其关系为：1KB = 1024 B、1MB = 1024 KB、1GB = 1024 MB。1千字节相当于210 Byte，即1024 Byte， 记为1KB；1兆字节相当于220 Byte，即1024 KB，记为1MB；而1吉字节相当于230 Byte ，即1024 MB，记为1GB。

内存容量是指为计算机系统所配置的主存(RAM)总字节数，度量单位是“KB”“MB”，如32MB、64MB、128MB等。外存多以硬盘、软盘和光盘为主，每个设备所能容纳的信息量的总字节数称为外存容量，度量单位是“MB”“GB”，如800MB、6.5GB。

目前，高档微型计算机的内存容量已从几MB发展到几百MB，外存容量已从几百MB发展到几GB～几十GB。

编址与地址

· 编 址

对计算机存储单元编号的过程称为“编址”，是以字节为单位进行的。

· 地 址

存储单元的编号称为地址。

注意：地址号与存储单元是一一对应的，CPU通过单元地址访问存储单元中的信息，地址所对应的存储单元中的信息是CPU操作的对象，即数据或指令本身。地址也是用二进制编码表示，为便于识别通常采用16进制。

问题2
它所提供的功能有以下几项：
（1）数据定义功能。DBMS提供相应数据语言来定义（DDL）数据库结构，它们是刻画数据库框架，并被保存在数据字典中。
（2）数据存取功能。DBMS提供数据操纵语言（DML），实现对数据库数据的基本存取操作：检索，插入，修改和删除。
（3）数据库运行管理功能。DBMS提供数据控制功能，即是数据的安全性、完整性和并发控制等对数据库运行进行有效地控制和管理，以确保数据正确有效。
（4）数据库的建立和维护功能。包括数据库初始数据的装入，数据库的转储、恢复、重组织，系统性能监视、分析等功能。
（5）数据库的传输。DBMS提供处理数据的传输，实现用户程序与DBMS之间的通信，通常与操作系统协调完成。

问题3
着名数据库管理系统
MS SQL SYBASE DB2 ORACLE MySQL ACCESS VF 常见的数据库管理系统 目前有许多数据库产品，如Oracle、Sybase、Informix、Microsoft SQL Server、Microsoft Access、Visual FoxPro等产品各以自己特有的功能，在数据库市场上占有一席之地。下面简要介绍几种常用的数据库管理系统。

数据库管理系统（DBMS）的主要功能
DBMS的主要目标是使数据作为一种可管理的资源来处理，其主要功能如下： 1.数据定义：DBMS提供数据定义语言，供用户定义数据库的三级模式结构、两级映像以及完整性约束和保密限制等约束。 2.数据操作：DBMS提供数据操作语言，供用户实现对数据的操作。 3.数据库的运行管理：数据库的运行管理功能是DBMS的运行控制、管理功能，包括多用户环境下的并发控制、安全性检查和存取限制控制、完整性检查和执行、运行日志的组织管理、事务的管理和自动恢复，即保证事务的原子性。这些功能保证了数据库系统的正常运行。 4.数据组织、存储与管理：DBMS要分类组织、存储和管理各种数据，包括数据字典、用户数据、存取路径等，需确定以何种文件结构和存取方式在存储级上组织这些数据，如何实现数据之间的联系。数据组织和存储的基本目标是提高存储空间利用率，选择合适的存取方法提高存取效率。 5.数据库的保护：数据库中的数据是信息社会的战略资源，随数据的保护至关重要。DBMS对数据库的保护通过4个方面来实现：数据库的恢复、数据库的并发控制、数据库的完整性控制、数据库安全性控制。DBMS的其他保护功能还有系统缓冲区的管理以及数据存储的某些自适应调节机制等。 6.数据库的维护：这一部分包括数据库的数据载入、转换、转储、数据库的重组合重构以及性能监控等功能，这些功能分别由各个使用程序来完成。 7.通信：DBMS具有与操作系统的联机处理、分时系统及远程作业输入的相关接口，负责处理数据的传送。对网络环境下的数据库系统，还应该包括DBMS与网络中其他软件系统的通信功能以及数据库之间的互操作功能。

7. 大数据技术常用的数据处理方式有哪些

大数据技术常用的数据处理方式，有传统的ETL工具利用多线程处理文件的方式；有写MapRece，有利用Hive结合其自定义函数，也可以利用Spark进行数据清洗等，每种方式都有各自的使用场景。

在实际的工作中，需要根据不同的特定场景来选择数据处理方式。

1、传统的ETL方式

传统的ETL工具比如Kettle、Talend、Informatica等，可视化操作，上手比较快，但是随着数据量上升容易导致性能出问题，可优化的空间不大。

2、Maprece

写Maprece进行数据处理，需要利用java、python等语言进行开发调试，没有可视化操作界面那么方便，在性能优化方面，常见的有在做小表跟大表关联的时候，可以先把小表放到缓存中(通过调用Maprece的api)，另外可以通过重写Combine跟Partition的接口实现，压缩从Map到rece中间数据处理量达到提高数据处理性能。

3、Hive

在没有出现Spark之前，Hive可谓独占鳌头，涉及离线数据的处理基本都是基于Hive来做的，Hive采用sql的方式底层基于Hadoop的Maprece计算框架进行数据处理，在性能优化上也不错。

4、Spark

Spark基于内存计算的准Maprece，在离线数据处理中，一般使用Spark sql进行数据清洗，目标文件一般是放在hdf或者nfs上，在书写sql的时候，尽量少用distinct，group by recebykey 等之类的算子，要防止数据倾斜。