用Delphi建立通讯与数据交换服务器—Transceiver技术剖析（下）作者：火鸟 [email protected]二、 Transceiver Service详解1．Transceiver Service分析概要Transceiver Service是Transceiver系统的核心构成，Transceiver Kernel负责从系统配置库读取Transceiver Console设定的Port、Channel定义与参数，运行时动态创建和管控通讯Port及其关联关系，对数据的收、发、缓冲进行调度、对日志、队列进行管理等。Transceiver Shell则是所支持全部类型的用于数据收发的Port的实现。2．Transceiver Service设计概要Transceiver Service是由Delphi中Service application开发而成，Service Application可运行于系统态而非用户态，由操作系统Service Control Manager (SCM)负责程序的运行管理，Service没有用户界面，属于系统的后台程序。Transceiver Kernel是Transceiver类的一系列对Transceiver Shell建立和控管的方法，而Transceiver Shell则是一系列负责通讯的对象集合。注：由于性能和负载的考虑，Transceiver Kernel只是从逻辑上实现上架构图中的功能划分，构成模块并未以完全对象化的方式实现。3．Transceiver Service实现概要 i. 建立一个Service Application从Delphi主菜单File中选择NEW|Other…在弹出的New Items对话框中选择NEW|Service Application ，可以看到生成的程序框架如下：PRogram Project1;uses SvcMgr, Unit1 in 'Unit1.pas' {Service1: TService};{$R *.RES}begin Application.Initialize; Application.CreateForm(TService1, Service1); Application.Run;end.unit Unit1;interfaceuses Windows, Messages, SysUtils, Classes, Graphics, Controls, SvcMgr, Dialogs;type TService1 = class(TService) private { Private declarations } public function GetServiceController: TServiceController; override; { Public declarations } end;var Service1: TService1;implementation{$R *.DFM}procedure ServiceController(CtrlCode: DWord); stdcall;begin Service1.Controller(CtrlCode);end;function TService1.GetServiceController: TServiceController;begin Result := ServiceController;end;end.可以看到除了在uses单元引用了用于服务管理的SvcMgr、TService1继承自TServiced而非TForm及一个重载的GetServiceController函数和以stdcall方式调用的ServiceController过程之外，用Delphi建立一个服务程序并没有太多特别之处，Delphi Fans也许又要欢呼了，这就是Delphi RAD的强大迷人之处。另外，Service Application由于无法直接在运行时调试，也没有用户界面，开发时应考虑调试信息的无界面输出以利于调试排错。 ii. 创始满足特定需求的Port类要使用运行处理机制统一的Transceiver Kernel，就要求Transceiver Shell中的Port有统一的处理规则，Shell中有些Port是Delphi开发环境中已有的组件类（如TCP、FTP等），而有些则不是（如MSMQ、File等）这时就需要自己动手建立一个可以满足需要的类。如：type//由于没有用户界面，所以继承自TComponent而非TControl TFilePort=class(TComponent) private FilePath:string;//获取或保存文件的文件夹位置 Prefix:string;//文件前缀 suffix:string;//文件后缀 end;建立TFilePort类以后，Transceiver Kernel就可以使用统一的类处理方式引用和管理对象，达到从FilePath指定的文件夹下存取特定文件的目的。如果用于信源(Source)，将从特定文件夹下获取满足条件的文件，如果用于信宿(Target)，将把从相应信源(Source)得到的数据写入到指定文件中(事实上每一个Port对象的实际参数都来源于系统配置库中Port表的定义)。另一个例子：type TCOMPort=class(TComponent) private ComFace:string;//获取或提交数据的COM接口 end;TCOMPort将用于从指定COM组件接口中获取数据或将数据提交到指定的COM组件接口上进行后续处理。在Delphi中OleVariant类是实现COM组件调用的途径之一，使用TCOMPort类的必要性在于，Transceiver在必要的数据存取时才会将TCOMPort定义的COM接口实例化为OleVariant对象，使用结束即释放对象，这样能减少Transceiver和COM服务器的负载压力。其它类似组件也有相同考虑。作者此处的类举例只是一种模型，必要时应加入适当的方法与事件。在开发中作者实现的类有：TCOMPort、TMSMQPort、TDBPort、TFilePort等 iii. 多Channel的支持—声明Port的对象数组Transceiver把一个通讯过程看作是源(Source)到目标(Target)的数据流过程，这样一个过程是Transceiver中的一个Channel，而这个Channel又是由至少两个Port构成的（一个用于Source，一个用于Target），所以要定义不定数量并且Source、Target自由组合的多个Channel，必须分别声明用于Source 和Target 的多种Port类的对象数组（并为他们建立对应的关联关系，稍后您将看到）。如： private { Private declarations }TCPSource:array of TServerSocket;// 用于TCP Source的对象数组TCPTarget:array of TClientSocket;//用于TCP Target的对象数组 MailSource:array of TIdPOP3; //用于Mail Source的对象数组MailTarget:array of TIdSMTP; //用于Mail Target的对象数组fileSource:array of TFilePort; //用于File Source的对象数组 fileTarget:array of TFilePort; //用于File Target的对象数组 comSource:array of TCOMPort;//用于COM Source的对象数组comTarget:array of TCOMPort; // 用于COM Target的对象数组注：由于同一类型的用于Source和Target的Port运行规则的也完全不同，在Transceiver概念中被视为是完全不同并且无直接关系的对象。所以同一类型的Port，对象数组也按Source和Target分别建立。 iv. 运行时实例化对象数组每一个对象数组的元素个数由Port Builder在运行时管理，如果用户通过Transceiver Console定义了一些某种类型的Port，Port Builder将按照其个数和各自参数实例化该对象数组。否则，该对象数组将不会被实例化。在Source类型的Port对象中，Name属性被设置为'Receive'+Port ID 的形式，在之后的数据接收触发中，这将有助于Data Dispatcher定位对象和对不同类型的Port对象进行统一调度。Tag属性被用来向Channel Controller提供其所在Channel的target ID信息。以下是Port Builder中对comSource对象数组的实例化部分 begin //Create COM/ Receive Port itmp:=high(comSource)+1;// 获取comSource的当前最大个数，itmp为integer变量SetLength(comSource,itmp+1); // 添加一个comSource数组成员 comSource [itmp]:=TCOMPort.Create(self);// 实例化成员comSource[itmp].Name:= 'Receive'+inttostr(isource); //设置Name属性为'Receive'+Port ID，isource为整型的当前PortID comSource [itmp].Tag:= itarget;//设置为其所在Channel的target ID NullTest:=rece.Fields['Address'].value;//得到系统配置COMFace的值，NullTest为Variant变量 if (NullTest <>null) and (trim(NullTest)<>'') then begincomSource [itmp].ComFace:=NullTest; //将有效值赋与ComFaceNullTest:=rece.Fields['interval'].value;//得到系统配置中COM对象获取数据的触发时间间隔SetTimer(application.handle,isource,NullTest*60000,nil);//为当前Port建立用于定时收取数据的触发时钟, isource为Port IDendelsecomSource [itmp].Tag:=-1;//初始化失败，标识为无效Port end;comSource是用于在一定的时间间隔后对ComFace中定义的接口进行调用并获取数据的Source类Port，相应comTarget的实现与其类似，只是由于向comTarget的ComFace提交数据是一个实时过程，所以不需要用到触发间隔，省略建立时钟的两条语句即可。其它类型的Port对象创建和初始化大同小异。如，另一个MailTarget实现片段： begin //Create SMTP/Send Port itmp:=high(MailTarget)+1; SetLength(MailTarget,itmp+1); MailTarget[itmp]:=TIdSMTP.Create(self); MailTarget[itmp].Name:=’send’+ inttostr(itarget); MailTarget[itmp].Tag:=3;// 设置为Target Port类型标识 NullTest:=rece.Fields['Address'].value; //邮件服务器地址 if (NullTest <>null) and (trim(NullTest)<>'') then MailTarget[itmp].Host :=NullTest else bValid:=false; NullTest:=rece.Fields['Port'].value; //邮件服务器端口 if NullTest <>null then(if NullTest<>0 then MailTarget[itmp].Port :=NullTest)else bValid:=false; NullTest:=rece.Fields['user'].value;//登录用户名 if NullTest <>null thenMailTarget[itmp].UserId :=NullTest else bValid:=false; NullTest:=rece.Fields['password'].value;//登录口令 …………… …………… end;或许你会有这样的疑惑，大量的Transceiver Shell通讯组件在运行时被Port Builder创建，Transceiver Service的性能会高吗？事实上，Port Builder的使命是在ServiceCreate事件发生时一次性完成的，Shell Port的数目只会影响Transceiver Service的初始化速度，Shell Port的通讯速度和Transceiver Servicer的整体性能将不受影响，当然系统资源可能会占用更多一些。 v. 事件的动态分配和处理在Transceiver Shell所支持的若干种通讯Port当中，使用TServerSocket(可能您更倾向于使用Indy的通讯组件，但这并不违背Transceiver Service的设计思想，只是Shell层面的修改或增加而已)实现的TCPSource是比较有特点的一种，因为TServerSocket作为一种Source Port，不同于COM或POP3之类需要定时触发的对象，它是在Transceiver Service启动后时刻处于监听状态，当有ClientSocket连接并发送数据时产生相应事件的组件。以下是TCPSource的实例化片段：begin //Create TCP/Receive Port itmp:=high(TCPSource)+1;SetLength(TCPSource,itmp+1); TCPSource [itmp]:=TServerSocket.Create(self); TCPSource [itmp].OnClientRead:=TCPServersClientRead;//分配OnClientRead事件的处理过程为TCPServersClientRead TCPSource [itmp].OnClientError:=TCPServerClientError;//分配OnClientError事件的处理过程为TCPServerClientErrorTCPSource [itmp].Name:= 'Receive'+inttostr(isource); //设置Name属性为'Receive'+Port ID TCPSource [itmp].Tag:=itarget; //设置为其所在Channel的target IDTCPSource [itmp].Socket.Data:=@ TCPSource [itmp].Tag;//将此Port对象的target ID作为指针数据附于Socket对象上 …………… ……………end;回来接着看我们的comSource的处理，在实例化时我们为其建立了触发时钟，但如何来处理时钟触发时的事件呢？同理，也是事件处理的动态分配。comSource的时钟的处理定义可在ServiceCreate事件处理中加入： application.OnMessage:=Timer;实现对消息处理的重载，当有Application的消息产生时，Timer就将被触发，在Timer事件中我们过滤处理时钟触发的WM_TIMER消息，就可以按Port ID和类型实现对特定Source Port的数据获取方法的调用：Procedure TCarrier.Timer(var Msg: TMsg; var Handled: Boolean);var stmp:string; Obj:TComponent;begin if Msg.message =WM_TIMER then//处理时钟消息 begin//根据触发消息的Port ID找到定义此消息的对象Obj:=FindComponent('Receive'+inttostr(Msg.WParam)); if obj=nil then exit;//没有找到就退出处理 stmp:=obj.ClassName;//反射获得此Port对象的类型信息 if stmp='TIdPOP3' then GetPOP3(TIdPOP3(Obj)); if stmp='TIdFTP' then GetFTP(TIdFTP(obj)); if stmp='TFilePort' then GetFile(TFilePort(Obj));if stmp='TCOMPort' then GetCOM(TCOMPort(Obj));//调用COMSource的数据获取过程 …………… …………… end;end; vi. 获取数据以下是COMSource的数据获取处理procedure TCarrier.GetCOM(COMObj: TCOMPort);var stmp:string; COMInterface:OleVariant;begin try//根据ComFace的值建立COM组件对象 COMInterface:=CreateOleObject(COMObj.ComFace); stmp:=COMInterface.GetData; //调用约定的接口方法，获取数据 while stmp<>#0 do // #0为约定的数据提取结束标志 begin DataArrive(stmp,COMObj.Tag);//交由data Dispatcher统一处理, COMObj.Tag为对象所在Channel的Target Port ID stmp:=COMInterface.GetData; end; COMInterface:= Unassigned; except COMInterface:= Unassigned; end;end;// 完成数据提取操作，释放组件对象，直至下一次触发调用以下是TCPSource的数据获取处理：procedure TCarrier.TCPServersClientRead(Sender: TObject; Socket:TCustomWinSocket);beginDataArrive(socket.ReceiveText,integer(TServerWinSocket(sender).data^));//交由data Dispatcher统一处理, 第二个参数为附于Socket对象sender上的Target Port ID指针值，end;不同类型的Source Port对象其接收数据的方式也不尽相同，但最终都将所接收到的数据交由data Dispatcher做统一处理。从实现层面讲，每加入一种数据接收对象并实现其数据接收，就为Transceiver Shell实现了一种新的Source Port。注：此处作者只是实现了接收文本数据，可能用户需要接收的是内存对象、数据流或二进制数据，对接收代码稍做更改即可。 vii. 数据调度Transceiver Service的数据调度是由data Dispatcher逻辑单元完成的，Data Dispatcher的主要任务是对从不同的Source Port接收到的数据进行统一的管理与控制、与Channel Controller协同工作，按Channel的定义向不同的Target Port进行数据分发、监视其发送结果成功与否，并根据发送结果和系统配置库的设置决定数据是否需要提交到Queue Manager和Log Recorder进行缓冲和日志处理等等。接下来看看Source Port提交数据的DataArrive方法：procedure TCarrier.DataArrive(sData:String;PortID:Integer);var dTime:Datetime; iLogID:integer; bSendSeccess:Boolean;begin if sData='' then exit;//如数据为空则跳出 iLogID:=-1; dTime:= now; //接收时间 if sData[length(sdata)]=#0 then sdata:=copy(sdata,1,length(sdata)-1);//用于兼容C语言的的字符串格式bSendSeccess:=DataSend(sdata,PortID) ;//调用 Data Dispatcher发送调度方法，PortID为Target Port IDif (TSCfg.LogOnlyError=false) or (bSendSeccess=false) theniLogID:=writeLog(dTime, now,sData, PortID, bSendSeccess);//根据系统配置信息中的日志处理规则和发送结果记录日志 if (TSCfg.Queueing=True) and (bSendSeccess=false) then PutQueue(dTime, now,sData, PortID, bSendSeccess, iLogID); //根据封装系统配置信息中Queue配置定义决定Queue处理end;以上是Data Dispatcher的DataArrive方法，其中Queue的处理是按照系统配置信息和发送状态决定的，也可以调整为强制性的队列化处理。下面是Data Dispatcher的DataSend方法,用于将数据按Target Port类型分发处理：Function TCarrier.DataSend(sData:String;PortID:Integer):boolean;var Obj:TComponent;begin DataSend:=false;Obj:=FindComponent('Send'+inttostr(PortID)); //根据Port ID找到对象 if (obj=nil) or (obj.Tag =-1) then exit;//对象不存在或因初始化失败已被标识为无效Port case obj.Tag of 1:DataSend:=PutTCP(TClientSocket(obj),sdata); 3:DataSend:=PutSMTP(TIdSMTP(obj),sdata); 5:DataSend:=PutFTP(TIdFTP(obj),sdata); 7:DataSend:=PutHTTP(TIdHTTP(obj),sdata); 9:DataSend:=PutFile(TFilePort(obj),sdata); 11:DataSend:=PutMSMQ(TMSMQPort (obj),sdata); 13:DataSend:=PutDB(TDBPort(obj),sdata); 15:DataSend:=PutCOM(TCOMPort (obj),sdata); …………… …………… end;end;值得注意的是，如果没有使用对象数组，而是每种类型的Port只有一个实例的话，处理数据分发处理的更佳办法应该是使用回调(Callback)函数，但在现在的情况下，那将导致不知应该由对象数组中哪一个成员处理数据。另外，现在的处理方法使Transceiver Kernel与Transceiver Shell没有彻底剥离，应该寻求更加抽象、独立性好的处理方法。 viii. 数据发送以下是TCP的发送Function TCarrier.PutTCP(TCPOBJ:TClientSocket;sdata:string):Boolean;var itime:integer;begin PutTCP:=false; try TCPOBJ.Close; TCPOBJ.Open; itime:=gettickcount;//起始时间 repeat application.ProcessMessages; until (TCPOBJ.Active=true) or (gettickcount-itime>5000); //连接成功或5秒超时就跳出循环 if TCPOBJ.Active then begin TCPOBJ.Socket.SendText(sdata); PutTCP:=true;//发送数据成功时，返回值才为Trueend;TCPOBJ.Close; ExceptTCPOBJ.Close; end; end;以下是COM的发送Function TCarrier.PutCOM(COMOBJ:TCOMPort;sdata:string):Boolean;var Com:OleVariant;begin PutCOM:=false; try Com:=CreateOleObject(COMOBJ.ComFace);//建立预定义的接口PutCOM:=Com.PutData(sdata);//调用预定义的方法Com:= Unassigned; exceptCom:= Unassigned; end; end;其它类型的Port发送大同小异，在此不再赘述。到此为止，Source和Target的基本处理已经完成。一个基本的通讯功能已经建立，经过不同类型的Source和Target的自由匹配，就可以实现完全不同的通讯功能。建立多个Channel，就可以集中实现多个不同功用的通讯处理。 ix. 队列处理在上文的DataArrive方法中当数据被发送之后，Data Dispatcher会调用数据日志记录的writeLog和队列化处理的PutQueue方法，二者的功能类似，都是根据系统参数对数据信息进行数据库的存储，不是本文的重点。而队列的Retry处理与Timer事件中按Port类型分发处理的原理类似，是依赖于Queue Timer的触发，将缓冲的数据从数据库中读出，并依照Target Port ID再次调用DataSend进行数据的发送重试，如发送成功，则本次数据传输的事务完成，否则重新进入队列等待下一次触发时间进行重试，直到发送成功或达到设置的最大重试数为止。三、 开发经验总结由于本文的侧重点在于说明Transceiver的核心思想与设计理念，简化和削弱了Transceiver作为后台服务应当考虑的多线程处理、对象池化以及事务支持、更为复杂强大的Source和Target的Group管理和Channel集成、收发内存对象、数据流、二进制数据的能力、系统配置信息的读取和其封装类的实现、系统及数据的安全性等等，希望读者朋友们能够抛砖引玉，理解Transceiver的设计思想，启发实际开发工作中的灵感火花，做出更加出色强大的软件。作者：火鸟 [email protected]用Delphi建立通讯与数据交换服务器—Transceiver技术剖析（上）用Delphi建立通讯与数据交换服务器—Transceiver技术剖析（下）通过C#实现集合类纵览.NET Collections及相关技术老东西:程序快捷方式/程序删除项/EXE自删除DIY老东西:儿时的编程算法心得笔记