思维 » 数据相关

绿化数据中心 – 第一部分 – 整合，再整合

笑谈 — Tue, 02 Jun 2009 08:43:09 +0000

出于多种原因，服务器整合项目在许多组织里正开展得如火如荼。此类项目一般有如下一些目标：

以新设备替换老设备。
实现数据中心更好的整体利用率。
降低购买设备的总成本。

考虑一下如下事实：今天的多核、多处理器系统与昨日的单核的庞然大物相较而言已是相去甚远。现代的服务器跟老家伙比起来，即便是开足马力，也能以消耗更低能量的方式来实现负荷目标。还有，再考虑一下使用模式。时至今日，把那些旧的单应用服务器迁移至运行于新硬件上的虚拟机器之上的虚拟机器已远非罕见。（译者：很拗口吧，实际上指的是现在的虚拟技术已经允许在虚拟的基础上多重虚拟）。其结果是：大多数情况下，曾经许多10台、20台甚至30台服务器才能满足的负载，现已可高效地仅运行于两三台设备上。随着海量的虚拟机器监控解决方案的出现，由于其中许多都是免费的，虚拟化是实现服务器整合目标最快捷的方式。

在许多情况下，即便是新老设备一对一的替换也能降低整体能源消耗。然而，通过把许多服务器的负载整合到单台设备上则可实现大量的能源节约。

显然，此非易事 – 不会是抛出一台新服务器、把一堆负载迁移过去然后回家享受周末那么简单。为了在一台虚拟单机上充分支持如此多的负载，海量的存储空间往往是必要的。但是即便加上SAN的电力需求，大部分大型的服务器整合项目仍实现了重大的能耗节省。

节约能耗本身就是一个进行服务器整合的主要理由，但还有其他的能源因素在起作用。比如说冷却。难道给30多台既老旧又低效的服务器降温会比两三台新的服务器加上一个SAN要便宜？除非你买了一个占满整个机房的SAN，我敢打赌冷却需求可大为降低。

整合项目并没有止步于数据中心。实际上，我们完全可以肯定，这完全可以提高数据中心的能源利用率。想一想虚拟桌面基础设施吧（ VDI ）。通过在整个组织部署低功耗，以及在数据中心部署一些更节能的服务器，组织可以为台式电脑采取在服务器上实施的措施。简而言之，台式机基础设施的总拥有成本的会因此减少，其中包括节约了大量的能源。举个例子，假设你在用户桌面部署了200台瘦客户机型的终端，来取代200台的低能效的胖电脑。再假设需要五台服务器来支持这200个客户。做一下算术题你就会发现，这5台PC和200台瘦客户机的能源消费总量远比200台常规电脑的要的得多。您还可以得到 VDI的的其他一些好处，如桌面的快速部署，从而也降低整体管理成本。

服务器整合项目是越来越常见。如果你所在的组织还没有试水服务器虚拟化和整合的话，现正当时。此外，考虑一下VDI可能带来的好处。虽然这不是对每个组织都合适的灵丹妙药，VDI的确是可以直接且持续的大为降低成本的。

摘自：http://www.yeeyan.com/articles/view/%E5%8D%9A%E8%B4%A4/34583?tag_related

企业还在为管理数据犯愁？试试语义网吧

笑谈 — Tue, 02 Jun 2009 03:34:15 +0000

普华永道（PricewaterhouseCoopers）最新的一封技术报告（link）阐释了语义网和连接数据将如何更好的帮助企业管理大规模的数据。普华永道技术创新中心的团队花了数月的时间研究和分析了企业数据仓库（data silos ）的问题以及为解决这一问题正在浮现出来的解决方案。根据普华永道的报告，问题的答案是语义网技术，普华永道相信，语义网为解决大规模的数据整合问题提供了一种实际可行的方法。

我们下载了这封长达58页的报告，然后在此文中为你概括了我们的一些发现。

普华永道在这封报告中写道，语义网的底层技术（underlying technology）不仅仅可以应用在网络数据，而且也可以应用到“内部信息和非网络的外部信息”——其中包括公司的数据仓库。目前企业在关系数据库中痛苦挣扎，但是普华永道称语义网技术不光可以降低成本而且可以提供更多数据，更重要的是，公司可以将它们“不敏感"的本体（ontologies）贡献到连接数据的云中。

”有了语义网，你就无需重复别人劳动重新创建你自己的本体，因为像 musicontology.com和DBpedia的公司已经创建了不少的本体而且将它们发布到网上了。既然它们是公开而且也有用，那么你可以使用他们所创建的本体然后再恰当的地方使用即可。理论上，你可以将一些构成你商业模型的特定的非敏感业务本体公开，让别人也可以使用它们。”

我们对建立阅读完整的报告以全面了解本体。但是本体基本上可以被看成链接数据（connect data）和元数据（metadata）的混合体。普华永道继续解释，称本体技术正在发展成为针对机构的一种流行的业务整合技术。这封报告称，数据密集型的医疗，媒体，石油和天气行业可能会成为此次运动的早期领跑者。“

企业经常面临的一个网络技术问题就是缺乏对引入的控制权。普华永道也承认这点，但是它称企业只需控制部分数据——而不是所有数据。普华永道称，为了真正利用互联网的优势，企业需要充分利用它的规模性—— 如果不放弃一些控制权这是没办法实现的。因此普华永道建议企业”只对那些无需规模化的领域保持完全的受控环境。“

这面这个表是对采用连接数据的方式来进行数据管理所有来好处的一个绝好概括。

普华永道罗列出了许多致力于企业数据整合技术的语义技术提供商。这些解决方案中并不是所有的都是基于语义网标准的，但是大多数解决方案都或多或少的依附于语义网技术。普华永道罗列出的提供商有Cambridge Semantics，Collibra，Metatomix, OpenLink Software,和Talis集团。非常有意思的是，一些大的数据库提供商也涉足早期的企业语义网市场：微软就为Word 2007提供了一个开源的本体插件(Ontology Add-In)，Oracle提供Spatial 11g，这是119数据库的一个选项，根据普华永道的报告，它提供了形形色色的语义数据管理功能。

读者可以通过这个链接（link）免费下载这封报告，这封报道还为那些想进入语义网世界的企业打包提供了许多有用的信息。如果你的公司也正在使用语义网，你可以在下面评论中告诉我们，以及到目前为止，你公司的语义网使用情况怎么样。

摘自：http://www.yeeyan.com/articles/view/11302/43998

Oracle数据库系统使用的几条经验

笑谈 — Wed, 27 May 2009 07:44:01 +0000

1.having子句的使用方法

having子句对group by 子句所确定的行组进行控制，having 子句条件中只允许涉及常量，聚组函数或group by子句中的列。

2.外部联接 "+ "的使用方法

外部联接 "+ "按其在 "= "的左边或右边分左联接和右联接。若不带 "+ "运算符的表中的一个行不直接匹配于带 "+ "预算符的表中的任何行，则前者的行与后者中的一个空行相匹配并被返回。若二者均不带′+′，则二者中无法匹配的均被返回。利用外部联接 "+ "，可以替代效率十分低下的not in运算，大大提高运行速度。例如，下面这条命令执行起来将会很慢。

select a.empno from emp a where a.empno not in

（select empno from emp1 where job=´；SALE´；）；

假如利用外部联接，改写命令如下：

select a.empno from emp a ，emp1 b

where a.empno=b.empno（+）

and b.empno is null

and b.job=´；SALE´；；

大家可以发现，运行速度明显提高。

3.删除表内重复记录的方法

大家可以利用这样的命令来删除表内重复记录：

delete from table_name a

where rowid < （select max（rowid） from table_name

where column1=a.column1 and column2=a.column2

and colum3=a.colum3 and ……）；

需要注意的是，当表比较大（例如50万条以上）时，需要另想办法。

4.set transaction命令的用法

在执行大事务时，Oracle有时会报如下错误：

ORA-01555：snapshot too old （rollback segment too small）

这说明Oracle给此事务随机分配的回滚段太小了，这时可以为它指定一个足够大的回滚段，以确保这个事务的成功执行。例如：

set transaction use rollback segment roll_abc；

delete from table_name where ……

commit；

回滚段roll_abc被指定给这个delete事务，commit命令则在事务结束之后取消了回滚段的指定。

5.使用索引的注意事项

select，update，delete 语句中的子查询应当有规律地查找少于20%的表行。如果一个语句查找的行数超过总行数的20%，它将不能通过使用索引获得性能上的提高。

索引可能产生碎片，因为记录从表中删除时，相应也从表的索引中删除。表释放的空间可以再用，而索引释放的空间却不能再用。频繁进行删除操作的被索引的表，应当阶段性地重建索引，以避免在索引中造成空间碎片，影响性能。在许可的条件下，也可以阶段性地truncate表，truncate命令删除表中所有记录，也删除索引碎片。

6.数据库重建应注意的问题

在利用import进行数据库重建过程中，有些视图可能会带来问题，因为结构输入的顺序可能造成视图的输入先于它低层次表的输入，这样建立视图就会失败。要解决这一问题，可以采取分两步走的方法：首先输入结构，然后输入数据。命令举例如下（uesrname：jfcl，password：hfjf，host sting：ora1，数据文件：expdata.dmp）：

imp jfcl/hfjf@ora1 file=empdata.dmp rows=N

imp jfcl/hfjf@ora1 file=empdata.dmp full=Y buffer=64000

commit=Y ignore=Y

注释：第1条命令输入所有数据库结构，但没有记录。第2次输入结构和数据，64000字节提交一次。ignore=Y选项则会保证第二次输入既使对象存在的情况下也能成功

MySQL数据库安全配置

笑谈 — Wed, 27 May 2009 07:39:32 +0000

1、前言

MySQL 是完全网络化的跨平台关系型数据库系统，同时是具有客户机/服务器体系结构的分布式数据库管理系统。它具有功能强、使用简便、管理方便、运行速度快、安全可靠性强等优点，用户可利用许多语言编写访问MySQL 数据库的程序，特别是与PHP更是黄金组合，运用十分广泛。
由于MySQL是多平台的数据库，它的默认配置要考虑各种情况下都能适用，所以在我们自己的使用环境下应该进行进一步的安全加固。作为一个MySQL的系统管理员，我们有责任维护MySQL数据库系统的数据安全性和完整性。
MySQL数据库的安全配置必须从两个方面入手，系统内部安全和外部网络安全，另外我们还将简单介绍编程时要注意的一些问题以及一些小窍门。

2、系统内部安全

3、编程需要注意的一些问题

不管是用哪种程序语言写连接MySQL数据库的程序，有一条准则是永远不要相信用户提交的数据！
对于数字字段，我们要使用查询语句：SELECT * FROM table WHERE ID=’234′，不要使用SELECT * FROM table WHERE ID=234这样的查询语句。MySQL会自动把字串转换为数字字符并且去除非数字字符。如果用户提交的数据经过了 mysql_escape_string处理，这样我们就可以完全杜绝了sql inject攻击，关于sql inject攻击请参考下面链接的文章：
http://www.spidynamics.com/papers/SQLInjectionWhitePaper.pdf
http://www.ngssoftware.com/papers/advanced_sql_injection.pdf
各种编程语言该注意的问题：
1)所有Web程序：
a)尝试在Web表单输入单引号和双引号来测试可能出现的错误，并找出原因所在。
b)修改URL参数带的%22 (‘"’), %23 (‘#’), 和 %27 (”’)。
c)对于数字字段的变量，我们的应用程序必须进行严格的检查，否则是非常危险的。
d)检查用户提交的数据是否超过字段的长度。
e)不要给自己程序连接数据库的用户过多的访问权限。
2)PHP：
a)检查用户提交的数据在查询之前是否经过addslashes处理，在PHP 4.0.3以后提供了基于MySQL C API的函数mysql_escape_string()。
3)MySQL C API：
a)检查查询字串是否用了mysql_escape_string() API调用。
4)MySQL++：
a)检查查询字串是否用了escape和quote处理。
5)Perl DBI：
a)检查查询字串是否用了quote()方法。
6)Java JDBC：
a)检查查询字串是否用了PreparedStatement对象。

4、一些小窍门

1)如果不慎忘记了MySQL的root密码，我们可以在启动MySQL服务器时加上参数–skip-grant-tables来跳过授权表的验证 (./safe_mysqld –skip-grant-tables &)，这样我们就可以直接登陆MySQL服务器，然后再修改root用户的口令，重启MySQL就可以用新口令登陆了。
2)启动MySQL服务器时加–skip-show-database使一般数据库用户不能浏览其它数据库。
3)启动MySQL服务器时加上–chroot=path参数，让mysqld守护进程运行在chroot环境中。这样SQL语句LOAD DATA INFILE和SELECT … INTO OUTFILE就限定在chroot_path下读写文件了。这里有一点要注意，MySQL启动后会建立一个mysql.sock文件，默认是在/tmp 目录下。使用了chroot后，MySQL会在chroot_path/tmp去建立mysql.sock文件，如果没有chroot_path/tmp 目录或启动MySQL的用户没有这个目录写权限就不能建立mysql.sock文件，MySQL会启动失败。比如我们加了–chroot=/usr /local/mysql/启动参数，那么最好建立一个启动MySQL的用户能写的/usr/local/mysql/tmp目录，当然我们也可以用 –socket=path来指定mysql.sock文件的路径，但这个path一定要在chroot_path里面。
4)启动MySQL服务器时加上–log-slow-queries=file参数，这样mysqld会把SQL命令执行时间超过 long_query_time的写入file文件。如果没有指定=file，mysqld默认会写到数据目录下的hostname-slow.log。如果只指定了filename，没有指定路径，那么mysqld也会把filename写到数据目录下。我们通过这个日志文件可以找出执行时间超长的查询语句，然后尽可能的优化它减轻MySQL服务器的负担。
5)如果我们只需本机使用MySQL服务，那么我们还可以加上–skip-networking启动参数使MySQL不监听任何TCP/IP连接，增加安全性。（非常推荐）
6)MySQL的更多mysqld启动选项请见MySQL手册4.16.4 mysqld Command-line Options

SQL开发中容易忽视的一些小地方（一）【null的用法及注意事项】

笑谈 — Sat, 17 Jan 2009 02:39:42 +0000

写此系列文章缘由: 做开发三年来(B/S),发现基于web 架构的项目技术主要分两大方面:

第一:C#,它是程序的基础,也可是其它开发语言,没有开发语言也就不存在应用程序.

第二:数据库,现在是信息化世界,大多数信息都可以通过数据库存储来交换信息.常与应用程序互相交流信息.

但在SQL开发应用时,我们往往只观注些常用的方法(insert delete select update),对些小细节方面(系统存储过程,函数的应用,优化分析)研究的并不多或者是知其一不知其二,所以本人想把在学习工作当中遇到的问题总结些,希望还没有重视这些方面的朋友会有帮助,少走些弯路.

主旨:本文首先根据自己的经验整理了一下SQL中的null的用法及要注意的方面.

名词解释(英文辞典): null:无效的, 无价值的, 等于零的.

(SQL定义):SQL中, NULL 与空格, 零, 都不相同. 是指为未定义或是不可用的.

构成因素:造成某一列成为 NULL 的因素可能是:

(1),值不存在；

(2), 值未知；

(3), 列对表不可用.

它与普通的值最大的异同是:

相同点:
1:统统属于值范畴.数字1是一个值,字符串’aaa’同样是一个值,同理 null也是一个值.

2:都是合法的值,普通的数字,字符可以存在于表中字段,null也可以,而且是有意义的.

不同点:
先创建测试表:
USE [myTestDB]
GO
/****** 对象: Table [dbo].[testNull]    脚本日期: 10/11/2008 13:45:14 ******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
CREATE TABLE [dbo].[testNull](
    [ID] [int] IDENTITY(1,1) NOT NULL,
    [a] [nchar](10) COLLATE Chinese_PRC_CI_AS NULL,
    [b] [nchar](10) COLLATE Chinese_PRC_CI_AS NULL,
CONSTRAINT [PK_testNull] PRIMARY KEY CLUSTERED
(
    [ID] ASC
)WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY]
插入相关测试值:
insert into testNull
values(‘1′,”)
insert into testNull

values(‘2′,null)

1:普通的值一般都可能进行运算符操作,例如:ID列为int,所以可以这样:ID=ID+1等,但如果一列的值为null,null+1=null,就是说null与任何运算符运算后都为null,这就是大家说的黑洞,会吃掉所有的东西.
update testNull
set b=b+1
where b is null

结论:查询后发现b的值没有变化,仍然为null.

2:普通的值可以进行"="操作,例如条件中一般都会这样出现:sUserName=’张三’,如果sUserName的值为null,要想找出所有名字为null的记录时,不能这样用:sUserName=null,因为null不是一个具体的值,任何值与它比较时都会返回false.此时可借用is null 或者是is not null.

示例查询:

1:select * from testNull where a=null –返回空结果集
2:select * from testNull where b is null –返回结果集 2 2 NULL

结论:说明null是不能用"="来比较,可用is null来替换

3:在用统计函数count时会不同,例如count(ID):统计记录数.当统计的记录中的包含有null值时,它会忽略null值.

示例查询:

1:select count(*),count(b) from testNull 它的返回值为2 1
2: select count(*),count(isnull(b,”)) from testNull 它的返回值为2 2

结论:对于列包含null 时,统计行数是可用count(*),或者是先把null值转换成对应的值再统计,例如count(isnull(b,”));

4:对于in 的影响不同.

示例查询: 查询testNull表中b的值包含在null中的记录.

            select * from testNull
where b in(null) –没有任何记录
结论:in在查询时会忽略null的记录,查询的时候可用is not null来查询.
5:排序时顺序有不同:当使用ORDER BY时，首先呈现NULL值。如果你用DESC以降序排序，NULL值最后显示。
                        1:select * from testNull
                            1 1 ”
                            2 2 NULL
                        2:select * from testNull order by b
                             2 2 NULL
                             1 1 ”
                         3:select * from testNull order by b desc
                             1 1 ”

2 2 NULL

6:当使用GROUP BY时，所有的NULL值被认为是相等的。这时先多插入几条数据,方便查看结果.
           insert into testNull
values(‘3′,null)
         values(‘4′,’4′)
select * from testNull
           select count(b) from testNull
group by b
返回结果:
                           0 1 1

结论:可见在group by 的时候,null视为等同.

7:永远不会有什么数据等于NULL。1不等于NULL，2也一样。但NULL也不等于NULL。所以我们只能比较它“是”或“不是”。

总结:SQL中提供了如此众多的存储过程,函数供我们调用,而我们又真正的理解几个呢?只有真正了解它们,才会对开发中出现的种种问题迅速找出问题所在并解决它.

引用：http://www.cnblogs.com/ASPNET2008/archive/2008/10/12/1308633.html

如何用Powerdesigner的PDM(物理数据模型)生成数据库

笑谈 — Sat, 17 Jan 2009 02:24:44 +0000

pdm做好后，最终是要将其转化为数据库实体的。
1.确认当前Powerdesigner设置的dbms是否正确,即是否是我们要生成的数据库类型，我在这里使用的是sqlserver2000:
Powerdesigner->数据库->更改当前dbms，选择您的数据库类型。

2.配置Powerdesigner与数据源的连接
Powerdesigner->数据库->配置连接->用户dsn(或系统dsn)->选择、添加您的数据源
3.连接
Powerdesigner->数据库->连接->设置好您刚才建立的dsn确定。
OK,设置好连接后我们就可以将pdm生成sql语句了。
4.数据库生成
Powerdesigner->数据库->生成数据库->配置好（默认就可以）后选择确定就好了。
拿到sql脚本语句，大家都知道应当如何做了吧，放到sql查询分析器里执行吧。