|
|
5仿真币
对这个算法最直观的理解是这样的：
% X e4 i5 B0 \4 ~3 N' p0 h* a0 a& `) G
一个agent在一天的开始时观察这个世界（获得information, 这个information是binary的，比如：天有没有下雨；家里的食物储备多不多），之后根据他获得的information，随机地选择一个action（比如：吃储备着的粮食）。在一天结束（即第二天开始）后，他计算了他的效用（就是满意度），如果效用较初始效用上升，他就会使选择这个action的概率上升一个单位。即整个算法是从information map到probability的一个过程。
* [" d. \# [! Q3 q1 s1 t; S2 {
; I" F1 Y& U2 X5 f' a: b% X以下是对编程有用的具体的算法：& e6 ^: [) @- f6 _
6 B C' n6 T& n3 a R2 `假设现在有2个information, 所以列出所有的排列为[[0 0][0 1][1 0][1 1]]。
+ k- c( a- V" k$ \# k* R1 R+ X6 b9 @0 K; O) G: j0 a: d8 r
假设有4个actions: a1, a2, a3, a4。每个action所发生的概率分别为p1,p2,p3,p4。
" Z \( k' s+ u; }3 c( I4 q( L0 l2 _0 N0 S8 O6 k
每一个information vector都对应actions的一个概率分布。初始状态下的对应关系是这样的：8 d7 n8 ] k) E
! u8 V6 G! ^4 R
[ [0 0] -> [0.25 0.25 0.25 0.25]
+ l2 N! D- P/ x& ]2 @ [0 1] -> [0.25 0.25 0.25 0.25]
1 z7 d" Z# t& g0 Y0 r [1 0] -> [0.25 0.25 0.25 0.25]4 S- I& Z+ b* F/ g% y2 @
[1 1] -> [0.25 0.25 0.25 0.25]
5 n1 ~0 Z% P/ f! v0 \3 V ], h4 _) Y9 e. _
9 e# f0 E' Z: ?2 A) {9 c/ _
好，现在agent开始获得information，比如[0 0]，这时，agent就用第一行的[0.25 0.25 0.25 0.25]，来随机选择一个行为，假设他选择的是a2。在他做出了这个action之后，假设第二天他发现他的效用上升了，所以他就把a2发生的概率p2上调w，所以概率矩阵的第一行就变成[0.25-w/3 0.25+w 0.25-w/3 0.25-w/3]。
7 M' n: E$ T: Z3 T
% J1 n9 V: n& `4 z: k他在第二天的开始又获得information，如果还是[0 0]，那么就用[0.25-w/3 0.25+w 0.25-w/3 0.25-w/3]来随机选择一个action。但如果是[0 1]，那么就还是要用第二行的[0.25 0.25 0.25 0.25]来随机选择一个action。选择完action之后就比较前一天的效用，然后再调整概率。# X e/ K: k1 _1 b
7 @6 i) W& |1 T* v
整个算法都在这里了，现在的问题是我根本就不知道从何下手，也不知道这个算法跟模型库中的哪些算法比较相似。
4 U+ J1 ]" r, n# n1 q3 o9 N5 z ]% ]. e. C1 h; d# _! X+ K2 x
恳请高人教导！ |
|
发表于 2008-6-7 13:39:29
楼主