Merge tag 'v4.4.55' into linux-linaro-lsk-v4.4
[firefly-linux-kernel-4.4.55.git] / fs / nfsd / vfs.c
1 /*
2  * File operations used by nfsd. Some of these have been ripped from
3  * other parts of the kernel because they weren't exported, others
4  * are partial duplicates with added or changed functionality.
5  *
6  * Note that several functions dget() the dentry upon which they want
7  * to act, most notably those that create directory entries. Response
8  * dentry's are dput()'d if necessary in the release callback.
9  * So if you notice code paths that apparently fail to dput() the
10  * dentry, don't worry--they have been taken care of.
11  *
12  * Copyright (C) 1995-1999 Olaf Kirch <okir@monad.swb.de>
13  * Zerocpy NFS support (C) 2002 Hirokazu Takahashi <taka@valinux.co.jp>
14  */
15
16 #include <linux/fs.h>
17 #include <linux/file.h>
18 #include <linux/splice.h>
19 #include <linux/falloc.h>
20 #include <linux/fcntl.h>
21 #include <linux/namei.h>
22 #include <linux/delay.h>
23 #include <linux/fsnotify.h>
24 #include <linux/posix_acl_xattr.h>
25 #include <linux/xattr.h>
26 #include <linux/jhash.h>
27 #include <linux/ima.h>
28 #include <linux/slab.h>
29 #include <asm/uaccess.h>
30 #include <linux/exportfs.h>
31 #include <linux/writeback.h>
32 #include <linux/security.h>
33
34 #ifdef CONFIG_NFSD_V3
35 #include "xdr3.h"
36 #endif /* CONFIG_NFSD_V3 */
37
38 #ifdef CONFIG_NFSD_V4
39 #include "acl.h"
40 #include "idmap.h"
41 #endif /* CONFIG_NFSD_V4 */
42
43 #include "nfsd.h"
44 #include "vfs.h"
45
46 #define NFSDDBG_FACILITY                NFSDDBG_FILEOP
47
48
49 /*
50  * This is a cache of readahead params that help us choose the proper
51  * readahead strategy. Initially, we set all readahead parameters to 0
52  * and let the VFS handle things.
53  * If you increase the number of cached files very much, you'll need to
54  * add a hash table here.
55  */
56 struct raparms {
57         struct raparms          *p_next;
58         unsigned int            p_count;
59         ino_t                   p_ino;
60         dev_t                   p_dev;
61         int                     p_set;
62         struct file_ra_state    p_ra;
63         unsigned int            p_hindex;
64 };
65
66 struct raparm_hbucket {
67         struct raparms          *pb_head;
68         spinlock_t              pb_lock;
69 } ____cacheline_aligned_in_smp;
70
71 #define RAPARM_HASH_BITS        4
72 #define RAPARM_HASH_SIZE        (1<<RAPARM_HASH_BITS)
73 #define RAPARM_HASH_MASK        (RAPARM_HASH_SIZE-1)
74 static struct raparm_hbucket    raparm_hash[RAPARM_HASH_SIZE];
75
76 /* 
77  * Called from nfsd_lookup and encode_dirent. Check if we have crossed 
78  * a mount point.
79  * Returns -EAGAIN or -ETIMEDOUT leaving *dpp and *expp unchanged,
80  *  or nfs_ok having possibly changed *dpp and *expp
81  */
82 int
83 nfsd_cross_mnt(struct svc_rqst *rqstp, struct dentry **dpp, 
84                         struct svc_export **expp)
85 {
86         struct svc_export *exp = *expp, *exp2 = NULL;
87         struct dentry *dentry = *dpp;
88         struct path path = {.mnt = mntget(exp->ex_path.mnt),
89                             .dentry = dget(dentry)};
90         int err = 0;
91
92         err = follow_down(&path);
93         if (err < 0)
94                 goto out;
95
96         exp2 = rqst_exp_get_by_name(rqstp, &path);
97         if (IS_ERR(exp2)) {
98                 err = PTR_ERR(exp2);
99                 /*
100                  * We normally allow NFS clients to continue
101                  * "underneath" a mountpoint that is not exported.
102                  * The exception is V4ROOT, where no traversal is ever
103                  * allowed without an explicit export of the new
104                  * directory.
105                  */
106                 if (err == -ENOENT && !(exp->ex_flags & NFSEXP_V4ROOT))
107                         err = 0;
108                 path_put(&path);
109                 goto out;
110         }
111         if (nfsd_v4client(rqstp) ||
112                 (exp->ex_flags & NFSEXP_CROSSMOUNT) || EX_NOHIDE(exp2)) {
113                 /* successfully crossed mount point */
114                 /*
115                  * This is subtle: path.dentry is *not* on path.mnt
116                  * at this point.  The only reason we are safe is that
117                  * original mnt is pinned down by exp, so we should
118                  * put path *before* putting exp
119                  */
120                 *dpp = path.dentry;
121                 path.dentry = dentry;
122                 *expp = exp2;
123                 exp2 = exp;
124         }
125         path_put(&path);
126         exp_put(exp2);
127 out:
128         return err;
129 }
130
131 static void follow_to_parent(struct path *path)
132 {
133         struct dentry *dp;
134
135         while (path->dentry == path->mnt->mnt_root && follow_up(path))
136                 ;
137         dp = dget_parent(path->dentry);
138         dput(path->dentry);
139         path->dentry = dp;
140 }
141
142 static int nfsd_lookup_parent(struct svc_rqst *rqstp, struct dentry *dparent, struct svc_export **exp, struct dentry **dentryp)
143 {
144         struct svc_export *exp2;
145         struct path path = {.mnt = mntget((*exp)->ex_path.mnt),
146                             .dentry = dget(dparent)};
147
148         follow_to_parent(&path);
149
150         exp2 = rqst_exp_parent(rqstp, &path);
151         if (PTR_ERR(exp2) == -ENOENT) {
152                 *dentryp = dget(dparent);
153         } else if (IS_ERR(exp2)) {
154                 path_put(&path);
155                 return PTR_ERR(exp2);
156         } else {
157                 *dentryp = dget(path.dentry);
158                 exp_put(*exp);
159                 *exp = exp2;
160         }
161         path_put(&path);
162         return 0;
163 }
164
165 /*
166  * For nfsd purposes, we treat V4ROOT exports as though there was an
167  * export at *every* directory.
168  */
169 int nfsd_mountpoint(struct dentry *dentry, struct svc_export *exp)
170 {
171         if (d_mountpoint(dentry))
172                 return 1;
173         if (nfsd4_is_junction(dentry))
174                 return 1;
175         if (!(exp->ex_flags & NFSEXP_V4ROOT))
176                 return 0;
177         return d_inode(dentry) != NULL;
178 }
179
180 __be32
181 nfsd_lookup_dentry(struct svc_rqst *rqstp, struct svc_fh *fhp,
182                    const char *name, unsigned int len,
183                    struct svc_export **exp_ret, struct dentry **dentry_ret)
184 {
185         struct svc_export       *exp;
186         struct dentry           *dparent;
187         struct dentry           *dentry;
188         int                     host_err;
189
190         dprintk("nfsd: nfsd_lookup(fh %s, %.*s)\n", SVCFH_fmt(fhp), len,name);
191
192         dparent = fhp->fh_dentry;
193         exp = exp_get(fhp->fh_export);
194
195         /* Lookup the name, but don't follow links */
196         if (isdotent(name, len)) {
197                 if (len==1)
198                         dentry = dget(dparent);
199                 else if (dparent != exp->ex_path.dentry)
200                         dentry = dget_parent(dparent);
201                 else if (!EX_NOHIDE(exp) && !nfsd_v4client(rqstp))
202                         dentry = dget(dparent); /* .. == . just like at / */
203                 else {
204                         /* checking mountpoint crossing is very different when stepping up */
205                         host_err = nfsd_lookup_parent(rqstp, dparent, &exp, &dentry);
206                         if (host_err)
207                                 goto out_nfserr;
208                 }
209         } else {
210                 /*
211                  * In the nfsd4_open() case, this may be held across
212                  * subsequent open and delegation acquisition which may
213                  * need to take the child's i_mutex:
214                  */
215                 fh_lock_nested(fhp, I_MUTEX_PARENT);
216                 dentry = lookup_one_len(name, dparent, len);
217                 host_err = PTR_ERR(dentry);
218                 if (IS_ERR(dentry))
219                         goto out_nfserr;
220                 /*
221                  * check if we have crossed a mount point ...
222                  */
223                 if (nfsd_mountpoint(dentry, exp)) {
224                         if ((host_err = nfsd_cross_mnt(rqstp, &dentry, &exp))) {
225                                 dput(dentry);
226                                 goto out_nfserr;
227                         }
228                 }
229         }
230         *dentry_ret = dentry;
231         *exp_ret = exp;
232         return 0;
233
234 out_nfserr:
235         exp_put(exp);
236         return nfserrno(host_err);
237 }
238
239 /*
240  * Look up one component of a pathname.
241  * N.B. After this call _both_ fhp and resfh need an fh_put
242  *
243  * If the lookup would cross a mountpoint, and the mounted filesystem
244  * is exported to the client with NFSEXP_NOHIDE, then the lookup is
245  * accepted as it stands and the mounted directory is
246  * returned. Otherwise the covered directory is returned.
247  * NOTE: this mountpoint crossing is not supported properly by all
248  *   clients and is explicitly disallowed for NFSv3
249  *      NeilBrown <neilb@cse.unsw.edu.au>
250  */
251 __be32
252 nfsd_lookup(struct svc_rqst *rqstp, struct svc_fh *fhp, const char *name,
253                                 unsigned int len, struct svc_fh *resfh)
254 {
255         struct svc_export       *exp;
256         struct dentry           *dentry;
257         __be32 err;
258
259         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_EXEC);
260         if (err)
261                 return err;
262         err = nfsd_lookup_dentry(rqstp, fhp, name, len, &exp, &dentry);
263         if (err)
264                 return err;
265         err = check_nfsd_access(exp, rqstp);
266         if (err)
267                 goto out;
268         /*
269          * Note: we compose the file handle now, but as the
270          * dentry may be negative, it may need to be updated.
271          */
272         err = fh_compose(resfh, exp, dentry, fhp);
273         if (!err && d_really_is_negative(dentry))
274                 err = nfserr_noent;
275 out:
276         dput(dentry);
277         exp_put(exp);
278         return err;
279 }
280
281 /*
282  * Commit metadata changes to stable storage.
283  */
284 static int
285 commit_metadata(struct svc_fh *fhp)
286 {
287         struct inode *inode = d_inode(fhp->fh_dentry);
288         const struct export_operations *export_ops = inode->i_sb->s_export_op;
289
290         if (!EX_ISSYNC(fhp->fh_export))
291                 return 0;
292
293         if (export_ops->commit_metadata)
294                 return export_ops->commit_metadata(inode);
295         return sync_inode_metadata(inode, 1);
296 }
297
298 /*
299  * Go over the attributes and take care of the small differences between
300  * NFS semantics and what Linux expects.
301  */
302 static void
303 nfsd_sanitize_attrs(struct inode *inode, struct iattr *iap)
304 {
305         /* sanitize the mode change */
306         if (iap->ia_valid & ATTR_MODE) {
307                 iap->ia_mode &= S_IALLUGO;
308                 iap->ia_mode |= (inode->i_mode & ~S_IALLUGO);
309         }
310
311         /* Revoke setuid/setgid on chown */
312         if (!S_ISDIR(inode->i_mode) &&
313             ((iap->ia_valid & ATTR_UID) || (iap->ia_valid & ATTR_GID))) {
314                 iap->ia_valid |= ATTR_KILL_PRIV;
315                 if (iap->ia_valid & ATTR_MODE) {
316                         /* we're setting mode too, just clear the s*id bits */
317                         iap->ia_mode &= ~S_ISUID;
318                         if (iap->ia_mode & S_IXGRP)
319                                 iap->ia_mode &= ~S_ISGID;
320                 } else {
321                         /* set ATTR_KILL_* bits and let VFS handle it */
322                         iap->ia_valid |= (ATTR_KILL_SUID | ATTR_KILL_SGID);
323                 }
324         }
325 }
326
327 static __be32
328 nfsd_get_write_access(struct svc_rqst *rqstp, struct svc_fh *fhp,
329                 struct iattr *iap)
330 {
331         struct inode *inode = d_inode(fhp->fh_dentry);
332         int host_err;
333
334         if (iap->ia_size < inode->i_size) {
335                 __be32 err;
336
337                 err = nfsd_permission(rqstp, fhp->fh_export, fhp->fh_dentry,
338                                 NFSD_MAY_TRUNC | NFSD_MAY_OWNER_OVERRIDE);
339                 if (err)
340                         return err;
341         }
342
343         host_err = get_write_access(inode);
344         if (host_err)
345                 goto out_nfserrno;
346
347         host_err = locks_verify_truncate(inode, NULL, iap->ia_size);
348         if (host_err)
349                 goto out_put_write_access;
350         return 0;
351
352 out_put_write_access:
353         put_write_access(inode);
354 out_nfserrno:
355         return nfserrno(host_err);
356 }
357
358 /*
359  * Set various file attributes.  After this call fhp needs an fh_put.
360  */
361 __be32
362 nfsd_setattr(struct svc_rqst *rqstp, struct svc_fh *fhp, struct iattr *iap,
363              int check_guard, time_t guardtime)
364 {
365         struct dentry   *dentry;
366         struct inode    *inode;
367         int             accmode = NFSD_MAY_SATTR;
368         umode_t         ftype = 0;
369         __be32          err;
370         int             host_err;
371         bool            get_write_count;
372         bool            size_change = (iap->ia_valid & ATTR_SIZE);
373
374         if (iap->ia_valid & (ATTR_ATIME | ATTR_MTIME | ATTR_SIZE))
375                 accmode |= NFSD_MAY_WRITE|NFSD_MAY_OWNER_OVERRIDE;
376         if (iap->ia_valid & ATTR_SIZE)
377                 ftype = S_IFREG;
378
379         /* Callers that do fh_verify should do the fh_want_write: */
380         get_write_count = !fhp->fh_dentry;
381
382         /* Get inode */
383         err = fh_verify(rqstp, fhp, ftype, accmode);
384         if (err)
385                 return err;
386         if (get_write_count) {
387                 host_err = fh_want_write(fhp);
388                 if (host_err)
389                         goto out;
390         }
391
392         dentry = fhp->fh_dentry;
393         inode = d_inode(dentry);
394
395         /* Ignore any mode updates on symlinks */
396         if (S_ISLNK(inode->i_mode))
397                 iap->ia_valid &= ~ATTR_MODE;
398
399         if (!iap->ia_valid)
400                 return 0;
401
402         nfsd_sanitize_attrs(inode, iap);
403
404         if (check_guard && guardtime != inode->i_ctime.tv_sec)
405                 return nfserr_notsync;
406
407         /*
408          * The size case is special, it changes the file in addition to the
409          * attributes, and file systems don't expect it to be mixed with
410          * "random" attribute changes.  We thus split out the size change
411          * into a separate call to ->setattr, and do the rest as a separate
412          * setattr call.
413          */
414         if (size_change) {
415                 err = nfsd_get_write_access(rqstp, fhp, iap);
416                 if (err)
417                         return err;
418         }
419
420         fh_lock(fhp);
421         if (size_change) {
422                 /*
423                  * RFC5661, Section 18.30.4:
424                  *   Changing the size of a file with SETATTR indirectly
425                  *   changes the time_modify and change attributes.
426                  *
427                  * (and similar for the older RFCs)
428                  */
429                 struct iattr size_attr = {
430                         .ia_valid       = ATTR_SIZE | ATTR_CTIME | ATTR_MTIME,
431                         .ia_size        = iap->ia_size,
432                 };
433
434                 host_err = notify_change(dentry, &size_attr, NULL);
435                 if (host_err)
436                         goto out_unlock;
437                 iap->ia_valid &= ~ATTR_SIZE;
438
439                 /*
440                  * Avoid the additional setattr call below if the only other
441                  * attribute that the client sends is the mtime, as we update
442                  * it as part of the size change above.
443                  */
444                 if ((iap->ia_valid & ~ATTR_MTIME) == 0)
445                         goto out_unlock;
446         }
447
448         iap->ia_valid |= ATTR_CTIME;
449         host_err = notify_change(dentry, iap, NULL);
450
451 out_unlock:
452         fh_unlock(fhp);
453         if (size_change)
454                 put_write_access(inode);
455 out:
456         if (!host_err)
457                 host_err = commit_metadata(fhp);
458         return nfserrno(host_err);
459 }
460
461 #if defined(CONFIG_NFSD_V4)
462 /*
463  * NFS junction information is stored in an extended attribute.
464  */
465 #define NFSD_JUNCTION_XATTR_NAME        XATTR_TRUSTED_PREFIX "junction.nfs"
466
467 /**
468  * nfsd4_is_junction - Test if an object could be an NFS junction
469  *
470  * @dentry: object to test
471  *
472  * Returns 1 if "dentry" appears to contain NFS junction information.
473  * Otherwise 0 is returned.
474  */
475 int nfsd4_is_junction(struct dentry *dentry)
476 {
477         struct inode *inode = d_inode(dentry);
478
479         if (inode == NULL)
480                 return 0;
481         if (inode->i_mode & S_IXUGO)
482                 return 0;
483         if (!(inode->i_mode & S_ISVTX))
484                 return 0;
485         if (vfs_getxattr(dentry, NFSD_JUNCTION_XATTR_NAME, NULL, 0) <= 0)
486                 return 0;
487         return 1;
488 }
489 #ifdef CONFIG_NFSD_V4_SECURITY_LABEL
490 __be32 nfsd4_set_nfs4_label(struct svc_rqst *rqstp, struct svc_fh *fhp,
491                 struct xdr_netobj *label)
492 {
493         __be32 error;
494         int host_error;
495         struct dentry *dentry;
496
497         error = fh_verify(rqstp, fhp, 0 /* S_IFREG */, NFSD_MAY_SATTR);
498         if (error)
499                 return error;
500
501         dentry = fhp->fh_dentry;
502
503         mutex_lock(&d_inode(dentry)->i_mutex);
504         host_error = security_inode_setsecctx(dentry, label->data, label->len);
505         mutex_unlock(&d_inode(dentry)->i_mutex);
506         return nfserrno(host_error);
507 }
508 #else
509 __be32 nfsd4_set_nfs4_label(struct svc_rqst *rqstp, struct svc_fh *fhp,
510                 struct xdr_netobj *label)
511 {
512         return nfserr_notsupp;
513 }
514 #endif
515
516 __be32 nfsd4_vfs_fallocate(struct svc_rqst *rqstp, struct svc_fh *fhp,
517                            struct file *file, loff_t offset, loff_t len,
518                            int flags)
519 {
520         int error;
521
522         if (!S_ISREG(file_inode(file)->i_mode))
523                 return nfserr_inval;
524
525         error = vfs_fallocate(file, flags, offset, len);
526         if (!error)
527                 error = commit_metadata(fhp);
528
529         return nfserrno(error);
530 }
531 #endif /* defined(CONFIG_NFSD_V4) */
532
533 #ifdef CONFIG_NFSD_V3
534 /*
535  * Check server access rights to a file system object
536  */
537 struct accessmap {
538         u32             access;
539         int             how;
540 };
541 static struct accessmap nfs3_regaccess[] = {
542     {   NFS3_ACCESS_READ,       NFSD_MAY_READ                   },
543     {   NFS3_ACCESS_EXECUTE,    NFSD_MAY_EXEC                   },
544     {   NFS3_ACCESS_MODIFY,     NFSD_MAY_WRITE|NFSD_MAY_TRUNC   },
545     {   NFS3_ACCESS_EXTEND,     NFSD_MAY_WRITE                  },
546
547     {   0,                      0                               }
548 };
549
550 static struct accessmap nfs3_diraccess[] = {
551     {   NFS3_ACCESS_READ,       NFSD_MAY_READ                   },
552     {   NFS3_ACCESS_LOOKUP,     NFSD_MAY_EXEC                   },
553     {   NFS3_ACCESS_MODIFY,     NFSD_MAY_EXEC|NFSD_MAY_WRITE|NFSD_MAY_TRUNC},
554     {   NFS3_ACCESS_EXTEND,     NFSD_MAY_EXEC|NFSD_MAY_WRITE    },
555     {   NFS3_ACCESS_DELETE,     NFSD_MAY_REMOVE                 },
556
557     {   0,                      0                               }
558 };
559
560 static struct accessmap nfs3_anyaccess[] = {
561         /* Some clients - Solaris 2.6 at least, make an access call
562          * to the server to check for access for things like /dev/null
563          * (which really, the server doesn't care about).  So
564          * We provide simple access checking for them, looking
565          * mainly at mode bits, and we make sure to ignore read-only
566          * filesystem checks
567          */
568     {   NFS3_ACCESS_READ,       NFSD_MAY_READ                   },
569     {   NFS3_ACCESS_EXECUTE,    NFSD_MAY_EXEC                   },
570     {   NFS3_ACCESS_MODIFY,     NFSD_MAY_WRITE|NFSD_MAY_LOCAL_ACCESS    },
571     {   NFS3_ACCESS_EXTEND,     NFSD_MAY_WRITE|NFSD_MAY_LOCAL_ACCESS    },
572
573     {   0,                      0                               }
574 };
575
576 __be32
577 nfsd_access(struct svc_rqst *rqstp, struct svc_fh *fhp, u32 *access, u32 *supported)
578 {
579         struct accessmap        *map;
580         struct svc_export       *export;
581         struct dentry           *dentry;
582         u32                     query, result = 0, sresult = 0;
583         __be32                  error;
584
585         error = fh_verify(rqstp, fhp, 0, NFSD_MAY_NOP);
586         if (error)
587                 goto out;
588
589         export = fhp->fh_export;
590         dentry = fhp->fh_dentry;
591
592         if (d_is_reg(dentry))
593                 map = nfs3_regaccess;
594         else if (d_is_dir(dentry))
595                 map = nfs3_diraccess;
596         else
597                 map = nfs3_anyaccess;
598
599
600         query = *access;
601         for  (; map->access; map++) {
602                 if (map->access & query) {
603                         __be32 err2;
604
605                         sresult |= map->access;
606
607                         err2 = nfsd_permission(rqstp, export, dentry, map->how);
608                         switch (err2) {
609                         case nfs_ok:
610                                 result |= map->access;
611                                 break;
612                                 
613                         /* the following error codes just mean the access was not allowed,
614                          * rather than an error occurred */
615                         case nfserr_rofs:
616                         case nfserr_acces:
617                         case nfserr_perm:
618                                 /* simply don't "or" in the access bit. */
619                                 break;
620                         default:
621                                 error = err2;
622                                 goto out;
623                         }
624                 }
625         }
626         *access = result;
627         if (supported)
628                 *supported = sresult;
629
630  out:
631         return error;
632 }
633 #endif /* CONFIG_NFSD_V3 */
634
635 static int nfsd_open_break_lease(struct inode *inode, int access)
636 {
637         unsigned int mode;
638
639         if (access & NFSD_MAY_NOT_BREAK_LEASE)
640                 return 0;
641         mode = (access & NFSD_MAY_WRITE) ? O_WRONLY : O_RDONLY;
642         return break_lease(inode, mode | O_NONBLOCK);
643 }
644
645 /*
646  * Open an existing file or directory.
647  * The may_flags argument indicates the type of open (read/write/lock)
648  * and additional flags.
649  * N.B. After this call fhp needs an fh_put
650  */
651 __be32
652 nfsd_open(struct svc_rqst *rqstp, struct svc_fh *fhp, umode_t type,
653                         int may_flags, struct file **filp)
654 {
655         struct path     path;
656         struct inode    *inode;
657         struct file     *file;
658         int             flags = O_RDONLY|O_LARGEFILE;
659         __be32          err;
660         int             host_err = 0;
661
662         validate_process_creds();
663
664         /*
665          * If we get here, then the client has already done an "open",
666          * and (hopefully) checked permission - so allow OWNER_OVERRIDE
667          * in case a chmod has now revoked permission.
668          *
669          * Arguably we should also allow the owner override for
670          * directories, but we never have and it doesn't seem to have
671          * caused anyone a problem.  If we were to change this, note
672          * also that our filldir callbacks would need a variant of
673          * lookup_one_len that doesn't check permissions.
674          */
675         if (type == S_IFREG)
676                 may_flags |= NFSD_MAY_OWNER_OVERRIDE;
677         err = fh_verify(rqstp, fhp, type, may_flags);
678         if (err)
679                 goto out;
680
681         path.mnt = fhp->fh_export->ex_path.mnt;
682         path.dentry = fhp->fh_dentry;
683         inode = d_inode(path.dentry);
684
685         /* Disallow write access to files with the append-only bit set
686          * or any access when mandatory locking enabled
687          */
688         err = nfserr_perm;
689         if (IS_APPEND(inode) && (may_flags & NFSD_MAY_WRITE))
690                 goto out;
691         /*
692          * We must ignore files (but only files) which might have mandatory
693          * locks on them because there is no way to know if the accesser has
694          * the lock.
695          */
696         if (S_ISREG((inode)->i_mode) && mandatory_lock(inode))
697                 goto out;
698
699         if (!inode->i_fop)
700                 goto out;
701
702         host_err = nfsd_open_break_lease(inode, may_flags);
703         if (host_err) /* NOMEM or WOULDBLOCK */
704                 goto out_nfserr;
705
706         if (may_flags & NFSD_MAY_WRITE) {
707                 if (may_flags & NFSD_MAY_READ)
708                         flags = O_RDWR|O_LARGEFILE;
709                 else
710                         flags = O_WRONLY|O_LARGEFILE;
711         }
712
713         file = dentry_open(&path, flags, current_cred());
714         if (IS_ERR(file)) {
715                 host_err = PTR_ERR(file);
716                 goto out_nfserr;
717         }
718
719         host_err = ima_file_check(file, may_flags, 0);
720         if (host_err) {
721                 fput(file);
722                 goto out_nfserr;
723         }
724
725         if (may_flags & NFSD_MAY_64BIT_COOKIE)
726                 file->f_mode |= FMODE_64BITHASH;
727         else
728                 file->f_mode |= FMODE_32BITHASH;
729
730         *filp = file;
731 out_nfserr:
732         err = nfserrno(host_err);
733 out:
734         validate_process_creds();
735         return err;
736 }
737
738 struct raparms *
739 nfsd_init_raparms(struct file *file)
740 {
741         struct inode *inode = file_inode(file);
742         dev_t dev = inode->i_sb->s_dev;
743         ino_t ino = inode->i_ino;
744         struct raparms  *ra, **rap, **frap = NULL;
745         int depth = 0;
746         unsigned int hash;
747         struct raparm_hbucket *rab;
748
749         hash = jhash_2words(dev, ino, 0xfeedbeef) & RAPARM_HASH_MASK;
750         rab = &raparm_hash[hash];
751
752         spin_lock(&rab->pb_lock);
753         for (rap = &rab->pb_head; (ra = *rap); rap = &ra->p_next) {
754                 if (ra->p_ino == ino && ra->p_dev == dev)
755                         goto found;
756                 depth++;
757                 if (ra->p_count == 0)
758                         frap = rap;
759         }
760         depth = nfsdstats.ra_size;
761         if (!frap) {    
762                 spin_unlock(&rab->pb_lock);
763                 return NULL;
764         }
765         rap = frap;
766         ra = *frap;
767         ra->p_dev = dev;
768         ra->p_ino = ino;
769         ra->p_set = 0;
770         ra->p_hindex = hash;
771 found:
772         if (rap != &rab->pb_head) {
773                 *rap = ra->p_next;
774                 ra->p_next   = rab->pb_head;
775                 rab->pb_head = ra;
776         }
777         ra->p_count++;
778         nfsdstats.ra_depth[depth*10/nfsdstats.ra_size]++;
779         spin_unlock(&rab->pb_lock);
780
781         if (ra->p_set)
782                 file->f_ra = ra->p_ra;
783         return ra;
784 }
785
786 void nfsd_put_raparams(struct file *file, struct raparms *ra)
787 {
788         struct raparm_hbucket *rab = &raparm_hash[ra->p_hindex];
789
790         spin_lock(&rab->pb_lock);
791         ra->p_ra = file->f_ra;
792         ra->p_set = 1;
793         ra->p_count--;
794         spin_unlock(&rab->pb_lock);
795 }
796
797 /*
798  * Grab and keep cached pages associated with a file in the svc_rqst
799  * so that they can be passed to the network sendmsg/sendpage routines
800  * directly. They will be released after the sending has completed.
801  */
802 static int
803 nfsd_splice_actor(struct pipe_inode_info *pipe, struct pipe_buffer *buf,
804                   struct splice_desc *sd)
805 {
806         struct svc_rqst *rqstp = sd->u.data;
807         struct page **pp = rqstp->rq_next_page;
808         struct page *page = buf->page;
809         size_t size;
810
811         size = sd->len;
812
813         if (rqstp->rq_res.page_len == 0) {
814                 get_page(page);
815                 put_page(*rqstp->rq_next_page);
816                 *(rqstp->rq_next_page++) = page;
817                 rqstp->rq_res.page_base = buf->offset;
818                 rqstp->rq_res.page_len = size;
819         } else if (page != pp[-1]) {
820                 get_page(page);
821                 if (*rqstp->rq_next_page)
822                         put_page(*rqstp->rq_next_page);
823                 *(rqstp->rq_next_page++) = page;
824                 rqstp->rq_res.page_len += size;
825         } else
826                 rqstp->rq_res.page_len += size;
827
828         return size;
829 }
830
831 static int nfsd_direct_splice_actor(struct pipe_inode_info *pipe,
832                                     struct splice_desc *sd)
833 {
834         return __splice_from_pipe(pipe, sd, nfsd_splice_actor);
835 }
836
837 static __be32
838 nfsd_finish_read(struct file *file, unsigned long *count, int host_err)
839 {
840         if (host_err >= 0) {
841                 nfsdstats.io_read += host_err;
842                 *count = host_err;
843                 fsnotify_access(file);
844                 return 0;
845         } else 
846                 return nfserrno(host_err);
847 }
848
849 __be32 nfsd_splice_read(struct svc_rqst *rqstp,
850                      struct file *file, loff_t offset, unsigned long *count)
851 {
852         struct splice_desc sd = {
853                 .len            = 0,
854                 .total_len      = *count,
855                 .pos            = offset,
856                 .u.data         = rqstp,
857         };
858         int host_err;
859
860         rqstp->rq_next_page = rqstp->rq_respages + 1;
861         host_err = splice_direct_to_actor(file, &sd, nfsd_direct_splice_actor);
862         return nfsd_finish_read(file, count, host_err);
863 }
864
865 __be32 nfsd_readv(struct file *file, loff_t offset, struct kvec *vec, int vlen,
866                 unsigned long *count)
867 {
868         mm_segment_t oldfs;
869         int host_err;
870
871         oldfs = get_fs();
872         set_fs(KERNEL_DS);
873         host_err = vfs_readv(file, (struct iovec __user *)vec, vlen, &offset);
874         set_fs(oldfs);
875         return nfsd_finish_read(file, count, host_err);
876 }
877
878 static __be32
879 nfsd_vfs_read(struct svc_rqst *rqstp, struct file *file,
880               loff_t offset, struct kvec *vec, int vlen, unsigned long *count)
881 {
882         if (file->f_op->splice_read && test_bit(RQ_SPLICE_OK, &rqstp->rq_flags))
883                 return nfsd_splice_read(rqstp, file, offset, count);
884         else
885                 return nfsd_readv(file, offset, vec, vlen, count);
886 }
887
888 /*
889  * Gathered writes: If another process is currently writing to the file,
890  * there's a high chance this is another nfsd (triggered by a bulk write
891  * from a client's biod). Rather than syncing the file with each write
892  * request, we sleep for 10 msec.
893  *
894  * I don't know if this roughly approximates C. Juszak's idea of
895  * gathered writes, but it's a nice and simple solution (IMHO), and it
896  * seems to work:-)
897  *
898  * Note: we do this only in the NFSv2 case, since v3 and higher have a
899  * better tool (separate unstable writes and commits) for solving this
900  * problem.
901  */
902 static int wait_for_concurrent_writes(struct file *file)
903 {
904         struct inode *inode = file_inode(file);
905         static ino_t last_ino;
906         static dev_t last_dev;
907         int err = 0;
908
909         if (atomic_read(&inode->i_writecount) > 1
910             || (last_ino == inode->i_ino && last_dev == inode->i_sb->s_dev)) {
911                 dprintk("nfsd: write defer %d\n", task_pid_nr(current));
912                 msleep(10);
913                 dprintk("nfsd: write resume %d\n", task_pid_nr(current));
914         }
915
916         if (inode->i_state & I_DIRTY) {
917                 dprintk("nfsd: write sync %d\n", task_pid_nr(current));
918                 err = vfs_fsync(file, 0);
919         }
920         last_ino = inode->i_ino;
921         last_dev = inode->i_sb->s_dev;
922         return err;
923 }
924
925 __be32
926 nfsd_vfs_write(struct svc_rqst *rqstp, struct svc_fh *fhp, struct file *file,
927                                 loff_t offset, struct kvec *vec, int vlen,
928                                 unsigned long *cnt, int *stablep)
929 {
930         struct svc_export       *exp;
931         struct inode            *inode;
932         mm_segment_t            oldfs;
933         __be32                  err = 0;
934         int                     host_err;
935         int                     stable = *stablep;
936         int                     use_wgather;
937         loff_t                  pos = offset;
938         loff_t                  end = LLONG_MAX;
939         unsigned int            pflags = current->flags;
940
941         if (test_bit(RQ_LOCAL, &rqstp->rq_flags))
942                 /*
943                  * We want less throttling in balance_dirty_pages()
944                  * and shrink_inactive_list() so that nfs to
945                  * localhost doesn't cause nfsd to lock up due to all
946                  * the client's dirty pages or its congested queue.
947                  */
948                 current->flags |= PF_LESS_THROTTLE;
949
950         inode = file_inode(file);
951         exp   = fhp->fh_export;
952
953         use_wgather = (rqstp->rq_vers == 2) && EX_WGATHER(exp);
954
955         if (!EX_ISSYNC(exp))
956                 stable = 0;
957
958         /* Write the data. */
959         oldfs = get_fs(); set_fs(KERNEL_DS);
960         host_err = vfs_writev(file, (struct iovec __user *)vec, vlen, &pos);
961         set_fs(oldfs);
962         if (host_err < 0)
963                 goto out_nfserr;
964         *cnt = host_err;
965         nfsdstats.io_write += host_err;
966         fsnotify_modify(file);
967
968         if (stable) {
969                 if (use_wgather) {
970                         host_err = wait_for_concurrent_writes(file);
971                 } else {
972                         if (*cnt)
973                                 end = offset + *cnt - 1;
974                         host_err = vfs_fsync_range(file, offset, end, 0);
975                 }
976         }
977
978 out_nfserr:
979         dprintk("nfsd: write complete host_err=%d\n", host_err);
980         if (host_err >= 0)
981                 err = 0;
982         else
983                 err = nfserrno(host_err);
984         if (test_bit(RQ_LOCAL, &rqstp->rq_flags))
985                 tsk_restore_flags(current, pflags, PF_LESS_THROTTLE);
986         return err;
987 }
988
989 /*
990  * Read data from a file. count must contain the requested read count
991  * on entry. On return, *count contains the number of bytes actually read.
992  * N.B. After this call fhp needs an fh_put
993  */
994 __be32 nfsd_read(struct svc_rqst *rqstp, struct svc_fh *fhp,
995         loff_t offset, struct kvec *vec, int vlen, unsigned long *count)
996 {
997         struct file *file;
998         struct raparms  *ra;
999         __be32 err;
1000
1001         err = nfsd_open(rqstp, fhp, S_IFREG, NFSD_MAY_READ, &file);
1002         if (err)
1003                 return err;
1004
1005         ra = nfsd_init_raparms(file);
1006         err = nfsd_vfs_read(rqstp, file, offset, vec, vlen, count);
1007         if (ra)
1008                 nfsd_put_raparams(file, ra);
1009         fput(file);
1010
1011         return err;
1012 }
1013
1014 /*
1015  * Write data to a file.
1016  * The stable flag requests synchronous writes.
1017  * N.B. After this call fhp needs an fh_put
1018  */
1019 __be32
1020 nfsd_write(struct svc_rqst *rqstp, struct svc_fh *fhp, struct file *file,
1021                 loff_t offset, struct kvec *vec, int vlen, unsigned long *cnt,
1022                 int *stablep)
1023 {
1024         __be32                  err = 0;
1025
1026         if (file) {
1027                 err = nfsd_permission(rqstp, fhp->fh_export, fhp->fh_dentry,
1028                                 NFSD_MAY_WRITE|NFSD_MAY_OWNER_OVERRIDE);
1029                 if (err)
1030                         goto out;
1031                 err = nfsd_vfs_write(rqstp, fhp, file, offset, vec, vlen, cnt,
1032                                 stablep);
1033         } else {
1034                 err = nfsd_open(rqstp, fhp, S_IFREG, NFSD_MAY_WRITE, &file);
1035                 if (err)
1036                         goto out;
1037
1038                 if (cnt)
1039                         err = nfsd_vfs_write(rqstp, fhp, file, offset, vec, vlen,
1040                                              cnt, stablep);
1041                 fput(file);
1042         }
1043 out:
1044         return err;
1045 }
1046
1047 #ifdef CONFIG_NFSD_V3
1048 /*
1049  * Commit all pending writes to stable storage.
1050  *
1051  * Note: we only guarantee that data that lies within the range specified
1052  * by the 'offset' and 'count' parameters will be synced.
1053  *
1054  * Unfortunately we cannot lock the file to make sure we return full WCC
1055  * data to the client, as locking happens lower down in the filesystem.
1056  */
1057 __be32
1058 nfsd_commit(struct svc_rqst *rqstp, struct svc_fh *fhp,
1059                loff_t offset, unsigned long count)
1060 {
1061         struct file     *file;
1062         loff_t          end = LLONG_MAX;
1063         __be32          err = nfserr_inval;
1064
1065         if (offset < 0)
1066                 goto out;
1067         if (count != 0) {
1068                 end = offset + (loff_t)count - 1;
1069                 if (end < offset)
1070                         goto out;
1071         }
1072
1073         err = nfsd_open(rqstp, fhp, S_IFREG,
1074                         NFSD_MAY_WRITE|NFSD_MAY_NOT_BREAK_LEASE, &file);
1075         if (err)
1076                 goto out;
1077         if (EX_ISSYNC(fhp->fh_export)) {
1078                 int err2 = vfs_fsync_range(file, offset, end, 0);
1079
1080                 if (err2 != -EINVAL)
1081                         err = nfserrno(err2);
1082                 else
1083                         err = nfserr_notsupp;
1084         }
1085
1086         fput(file);
1087 out:
1088         return err;
1089 }
1090 #endif /* CONFIG_NFSD_V3 */
1091
1092 static __be32
1093 nfsd_create_setattr(struct svc_rqst *rqstp, struct svc_fh *resfhp,
1094                         struct iattr *iap)
1095 {
1096         /*
1097          * Mode has already been set earlier in create:
1098          */
1099         iap->ia_valid &= ~ATTR_MODE;
1100         /*
1101          * Setting uid/gid works only for root.  Irix appears to
1102          * send along the gid on create when it tries to implement
1103          * setgid directories via NFS:
1104          */
1105         if (!uid_eq(current_fsuid(), GLOBAL_ROOT_UID))
1106                 iap->ia_valid &= ~(ATTR_UID|ATTR_GID);
1107         if (iap->ia_valid)
1108                 return nfsd_setattr(rqstp, resfhp, iap, 0, (time_t)0);
1109         /* Callers expect file metadata to be committed here */
1110         return nfserrno(commit_metadata(resfhp));
1111 }
1112
1113 /* HPUX client sometimes creates a file in mode 000, and sets size to 0.
1114  * setting size to 0 may fail for some specific file systems by the permission
1115  * checking which requires WRITE permission but the mode is 000.
1116  * we ignore the resizing(to 0) on the just new created file, since the size is
1117  * 0 after file created.
1118  *
1119  * call this only after vfs_create() is called.
1120  * */
1121 static void
1122 nfsd_check_ignore_resizing(struct iattr *iap)
1123 {
1124         if ((iap->ia_valid & ATTR_SIZE) && (iap->ia_size == 0))
1125                 iap->ia_valid &= ~ATTR_SIZE;
1126 }
1127
1128 /*
1129  * Create a file (regular, directory, device, fifo); UNIX sockets 
1130  * not yet implemented.
1131  * If the response fh has been verified, the parent directory should
1132  * already be locked. Note that the parent directory is left locked.
1133  *
1134  * N.B. Every call to nfsd_create needs an fh_put for _both_ fhp and resfhp
1135  */
1136 __be32
1137 nfsd_create(struct svc_rqst *rqstp, struct svc_fh *fhp,
1138                 char *fname, int flen, struct iattr *iap,
1139                 int type, dev_t rdev, struct svc_fh *resfhp)
1140 {
1141         struct dentry   *dentry, *dchild = NULL;
1142         struct inode    *dirp;
1143         __be32          err;
1144         __be32          err2;
1145         int             host_err;
1146
1147         err = nfserr_perm;
1148         if (!flen)
1149                 goto out;
1150         err = nfserr_exist;
1151         if (isdotent(fname, flen))
1152                 goto out;
1153
1154         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_CREATE);
1155         if (err)
1156                 goto out;
1157
1158         dentry = fhp->fh_dentry;
1159         dirp = d_inode(dentry);
1160
1161         err = nfserr_notdir;
1162         if (!dirp->i_op->lookup)
1163                 goto out;
1164         /*
1165          * Check whether the response file handle has been verified yet.
1166          * If it has, the parent directory should already be locked.
1167          */
1168         if (!resfhp->fh_dentry) {
1169                 host_err = fh_want_write(fhp);
1170                 if (host_err)
1171                         goto out_nfserr;
1172
1173                 /* called from nfsd_proc_mkdir, or possibly nfsd3_proc_create */
1174                 fh_lock_nested(fhp, I_MUTEX_PARENT);
1175                 dchild = lookup_one_len(fname, dentry, flen);
1176                 host_err = PTR_ERR(dchild);
1177                 if (IS_ERR(dchild))
1178                         goto out_nfserr;
1179                 err = fh_compose(resfhp, fhp->fh_export, dchild, fhp);
1180                 if (err)
1181                         goto out;
1182         } else {
1183                 /* called from nfsd_proc_create */
1184                 dchild = dget(resfhp->fh_dentry);
1185                 if (!fhp->fh_locked) {
1186                         /* not actually possible */
1187                         printk(KERN_ERR
1188                                 "nfsd_create: parent %pd2 not locked!\n",
1189                                 dentry);
1190                         err = nfserr_io;
1191                         goto out;
1192                 }
1193         }
1194         /*
1195          * Make sure the child dentry is still negative ...
1196          */
1197         err = nfserr_exist;
1198         if (d_really_is_positive(dchild)) {
1199                 dprintk("nfsd_create: dentry %pd/%pd not negative!\n",
1200                         dentry, dchild);
1201                 goto out; 
1202         }
1203
1204         if (!(iap->ia_valid & ATTR_MODE))
1205                 iap->ia_mode = 0;
1206         iap->ia_mode = (iap->ia_mode & S_IALLUGO) | type;
1207
1208         err = nfserr_inval;
1209         if (!S_ISREG(type) && !S_ISDIR(type) && !special_file(type)) {
1210                 printk(KERN_WARNING "nfsd: bad file type %o in nfsd_create\n",
1211                        type);
1212                 goto out;
1213         }
1214
1215         /*
1216          * Get the dir op function pointer.
1217          */
1218         err = 0;
1219         host_err = 0;
1220         switch (type) {
1221         case S_IFREG:
1222                 host_err = vfs_create(dirp, dchild, iap->ia_mode, true);
1223                 if (!host_err)
1224                         nfsd_check_ignore_resizing(iap);
1225                 break;
1226         case S_IFDIR:
1227                 host_err = vfs_mkdir(dirp, dchild, iap->ia_mode);
1228                 break;
1229         case S_IFCHR:
1230         case S_IFBLK:
1231         case S_IFIFO:
1232         case S_IFSOCK:
1233                 host_err = vfs_mknod(dirp, dchild, iap->ia_mode, rdev);
1234                 break;
1235         }
1236         if (host_err < 0)
1237                 goto out_nfserr;
1238
1239         err = nfsd_create_setattr(rqstp, resfhp, iap);
1240
1241         /*
1242          * nfsd_create_setattr already committed the child.  Transactional
1243          * filesystems had a chance to commit changes for both parent and
1244          * child * simultaneously making the following commit_metadata a
1245          * noop.
1246          */
1247         err2 = nfserrno(commit_metadata(fhp));
1248         if (err2)
1249                 err = err2;
1250         /*
1251          * Update the file handle to get the new inode info.
1252          */
1253         if (!err)
1254                 err = fh_update(resfhp);
1255 out:
1256         if (dchild && !IS_ERR(dchild))
1257                 dput(dchild);
1258         return err;
1259
1260 out_nfserr:
1261         err = nfserrno(host_err);
1262         goto out;
1263 }
1264
1265 #ifdef CONFIG_NFSD_V3
1266
1267 /*
1268  * NFSv3 and NFSv4 version of nfsd_create
1269  */
1270 __be32
1271 do_nfsd_create(struct svc_rqst *rqstp, struct svc_fh *fhp,
1272                 char *fname, int flen, struct iattr *iap,
1273                 struct svc_fh *resfhp, int createmode, u32 *verifier,
1274                 bool *truncp, bool *created)
1275 {
1276         struct dentry   *dentry, *dchild = NULL;
1277         struct inode    *dirp;
1278         __be32          err;
1279         int             host_err;
1280         __u32           v_mtime=0, v_atime=0;
1281
1282         err = nfserr_perm;
1283         if (!flen)
1284                 goto out;
1285         err = nfserr_exist;
1286         if (isdotent(fname, flen))
1287                 goto out;
1288         if (!(iap->ia_valid & ATTR_MODE))
1289                 iap->ia_mode = 0;
1290         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_EXEC);
1291         if (err)
1292                 goto out;
1293
1294         dentry = fhp->fh_dentry;
1295         dirp = d_inode(dentry);
1296
1297         /* Get all the sanity checks out of the way before
1298          * we lock the parent. */
1299         err = nfserr_notdir;
1300         if (!dirp->i_op->lookup)
1301                 goto out;
1302
1303         host_err = fh_want_write(fhp);
1304         if (host_err)
1305                 goto out_nfserr;
1306
1307         fh_lock_nested(fhp, I_MUTEX_PARENT);
1308
1309         /*
1310          * Compose the response file handle.
1311          */
1312         dchild = lookup_one_len(fname, dentry, flen);
1313         host_err = PTR_ERR(dchild);
1314         if (IS_ERR(dchild))
1315                 goto out_nfserr;
1316
1317         /* If file doesn't exist, check for permissions to create one */
1318         if (d_really_is_negative(dchild)) {
1319                 err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_CREATE);
1320                 if (err)
1321                         goto out;
1322         }
1323
1324         err = fh_compose(resfhp, fhp->fh_export, dchild, fhp);
1325         if (err)
1326                 goto out;
1327
1328         if (nfsd_create_is_exclusive(createmode)) {
1329                 /* solaris7 gets confused (bugid 4218508) if these have
1330                  * the high bit set, so just clear the high bits. If this is
1331                  * ever changed to use different attrs for storing the
1332                  * verifier, then do_open_lookup() will also need to be fixed
1333                  * accordingly.
1334                  */
1335                 v_mtime = verifier[0]&0x7fffffff;
1336                 v_atime = verifier[1]&0x7fffffff;
1337         }
1338         
1339         if (d_really_is_positive(dchild)) {
1340                 err = 0;
1341
1342                 switch (createmode) {
1343                 case NFS3_CREATE_UNCHECKED:
1344                         if (! d_is_reg(dchild))
1345                                 goto out;
1346                         else if (truncp) {
1347                                 /* in nfsv4, we need to treat this case a little
1348                                  * differently.  we don't want to truncate the
1349                                  * file now; this would be wrong if the OPEN
1350                                  * fails for some other reason.  furthermore,
1351                                  * if the size is nonzero, we should ignore it
1352                                  * according to spec!
1353                                  */
1354                                 *truncp = (iap->ia_valid & ATTR_SIZE) && !iap->ia_size;
1355                         }
1356                         else {
1357                                 iap->ia_valid &= ATTR_SIZE;
1358                                 goto set_attr;
1359                         }
1360                         break;
1361                 case NFS3_CREATE_EXCLUSIVE:
1362                         if (   d_inode(dchild)->i_mtime.tv_sec == v_mtime
1363                             && d_inode(dchild)->i_atime.tv_sec == v_atime
1364                             && d_inode(dchild)->i_size  == 0 ) {
1365                                 if (created)
1366                                         *created = 1;
1367                                 break;
1368                         }
1369                 case NFS4_CREATE_EXCLUSIVE4_1:
1370                         if (   d_inode(dchild)->i_mtime.tv_sec == v_mtime
1371                             && d_inode(dchild)->i_atime.tv_sec == v_atime
1372                             && d_inode(dchild)->i_size  == 0 ) {
1373                                 if (created)
1374                                         *created = 1;
1375                                 goto set_attr;
1376                         }
1377                          /* fallthru */
1378                 case NFS3_CREATE_GUARDED:
1379                         err = nfserr_exist;
1380                 }
1381                 fh_drop_write(fhp);
1382                 goto out;
1383         }
1384
1385         host_err = vfs_create(dirp, dchild, iap->ia_mode, true);
1386         if (host_err < 0) {
1387                 fh_drop_write(fhp);
1388                 goto out_nfserr;
1389         }
1390         if (created)
1391                 *created = 1;
1392
1393         nfsd_check_ignore_resizing(iap);
1394
1395         if (nfsd_create_is_exclusive(createmode)) {
1396                 /* Cram the verifier into atime/mtime */
1397                 iap->ia_valid = ATTR_MTIME|ATTR_ATIME
1398                         | ATTR_MTIME_SET|ATTR_ATIME_SET;
1399                 /* XXX someone who knows this better please fix it for nsec */ 
1400                 iap->ia_mtime.tv_sec = v_mtime;
1401                 iap->ia_atime.tv_sec = v_atime;
1402                 iap->ia_mtime.tv_nsec = 0;
1403                 iap->ia_atime.tv_nsec = 0;
1404         }
1405
1406  set_attr:
1407         err = nfsd_create_setattr(rqstp, resfhp, iap);
1408
1409         /*
1410          * nfsd_create_setattr already committed the child
1411          * (and possibly also the parent).
1412          */
1413         if (!err)
1414                 err = nfserrno(commit_metadata(fhp));
1415
1416         /*
1417          * Update the filehandle to get the new inode info.
1418          */
1419         if (!err)
1420                 err = fh_update(resfhp);
1421
1422  out:
1423         fh_unlock(fhp);
1424         if (dchild && !IS_ERR(dchild))
1425                 dput(dchild);
1426         fh_drop_write(fhp);
1427         return err;
1428  
1429  out_nfserr:
1430         err = nfserrno(host_err);
1431         goto out;
1432 }
1433 #endif /* CONFIG_NFSD_V3 */
1434
1435 /*
1436  * Read a symlink. On entry, *lenp must contain the maximum path length that
1437  * fits into the buffer. On return, it contains the true length.
1438  * N.B. After this call fhp needs an fh_put
1439  */
1440 __be32
1441 nfsd_readlink(struct svc_rqst *rqstp, struct svc_fh *fhp, char *buf, int *lenp)
1442 {
1443         struct inode    *inode;
1444         mm_segment_t    oldfs;
1445         __be32          err;
1446         int             host_err;
1447         struct path path;
1448
1449         err = fh_verify(rqstp, fhp, S_IFLNK, NFSD_MAY_NOP);
1450         if (err)
1451                 goto out;
1452
1453         path.mnt = fhp->fh_export->ex_path.mnt;
1454         path.dentry = fhp->fh_dentry;
1455         inode = d_inode(path.dentry);
1456
1457         err = nfserr_inval;
1458         if (!inode->i_op->readlink)
1459                 goto out;
1460
1461         touch_atime(&path);
1462         /* N.B. Why does this call need a get_fs()??
1463          * Remove the set_fs and watch the fireworks:-) --okir
1464          */
1465
1466         oldfs = get_fs(); set_fs(KERNEL_DS);
1467         host_err = inode->i_op->readlink(path.dentry, (char __user *)buf, *lenp);
1468         set_fs(oldfs);
1469
1470         if (host_err < 0)
1471                 goto out_nfserr;
1472         *lenp = host_err;
1473         err = 0;
1474 out:
1475         return err;
1476
1477 out_nfserr:
1478         err = nfserrno(host_err);
1479         goto out;
1480 }
1481
1482 /*
1483  * Create a symlink and look up its inode
1484  * N.B. After this call _both_ fhp and resfhp need an fh_put
1485  */
1486 __be32
1487 nfsd_symlink(struct svc_rqst *rqstp, struct svc_fh *fhp,
1488                                 char *fname, int flen,
1489                                 char *path,
1490                                 struct svc_fh *resfhp)
1491 {
1492         struct dentry   *dentry, *dnew;
1493         __be32          err, cerr;
1494         int             host_err;
1495
1496         err = nfserr_noent;
1497         if (!flen || path[0] == '\0')
1498                 goto out;
1499         err = nfserr_exist;
1500         if (isdotent(fname, flen))
1501                 goto out;
1502
1503         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_CREATE);
1504         if (err)
1505                 goto out;
1506
1507         host_err = fh_want_write(fhp);
1508         if (host_err)
1509                 goto out_nfserr;
1510
1511         fh_lock(fhp);
1512         dentry = fhp->fh_dentry;
1513         dnew = lookup_one_len(fname, dentry, flen);
1514         host_err = PTR_ERR(dnew);
1515         if (IS_ERR(dnew))
1516                 goto out_nfserr;
1517
1518         host_err = vfs_symlink(d_inode(dentry), dnew, path);
1519         err = nfserrno(host_err);
1520         if (!err)
1521                 err = nfserrno(commit_metadata(fhp));
1522         fh_unlock(fhp);
1523
1524         fh_drop_write(fhp);
1525
1526         cerr = fh_compose(resfhp, fhp->fh_export, dnew, fhp);
1527         dput(dnew);
1528         if (err==0) err = cerr;
1529 out:
1530         return err;
1531
1532 out_nfserr:
1533         err = nfserrno(host_err);
1534         goto out;
1535 }
1536
1537 /*
1538  * Create a hardlink
1539  * N.B. After this call _both_ ffhp and tfhp need an fh_put
1540  */
1541 __be32
1542 nfsd_link(struct svc_rqst *rqstp, struct svc_fh *ffhp,
1543                                 char *name, int len, struct svc_fh *tfhp)
1544 {
1545         struct dentry   *ddir, *dnew, *dold;
1546         struct inode    *dirp;
1547         __be32          err;
1548         int             host_err;
1549
1550         err = fh_verify(rqstp, ffhp, S_IFDIR, NFSD_MAY_CREATE);
1551         if (err)
1552                 goto out;
1553         err = fh_verify(rqstp, tfhp, 0, NFSD_MAY_NOP);
1554         if (err)
1555                 goto out;
1556         err = nfserr_isdir;
1557         if (d_is_dir(tfhp->fh_dentry))
1558                 goto out;
1559         err = nfserr_perm;
1560         if (!len)
1561                 goto out;
1562         err = nfserr_exist;
1563         if (isdotent(name, len))
1564                 goto out;
1565
1566         host_err = fh_want_write(tfhp);
1567         if (host_err) {
1568                 err = nfserrno(host_err);
1569                 goto out;
1570         }
1571
1572         fh_lock_nested(ffhp, I_MUTEX_PARENT);
1573         ddir = ffhp->fh_dentry;
1574         dirp = d_inode(ddir);
1575
1576         dnew = lookup_one_len(name, ddir, len);
1577         host_err = PTR_ERR(dnew);
1578         if (IS_ERR(dnew))
1579                 goto out_nfserr;
1580
1581         dold = tfhp->fh_dentry;
1582
1583         err = nfserr_noent;
1584         if (d_really_is_negative(dold))
1585                 goto out_dput;
1586         host_err = vfs_link(dold, dirp, dnew, NULL);
1587         if (!host_err) {
1588                 err = nfserrno(commit_metadata(ffhp));
1589                 if (!err)
1590                         err = nfserrno(commit_metadata(tfhp));
1591         } else {
1592                 if (host_err == -EXDEV && rqstp->rq_vers == 2)
1593                         err = nfserr_acces;
1594                 else
1595                         err = nfserrno(host_err);
1596         }
1597 out_dput:
1598         dput(dnew);
1599 out_unlock:
1600         fh_unlock(ffhp);
1601         fh_drop_write(tfhp);
1602 out:
1603         return err;
1604
1605 out_nfserr:
1606         err = nfserrno(host_err);
1607         goto out_unlock;
1608 }
1609
1610 /*
1611  * Rename a file
1612  * N.B. After this call _both_ ffhp and tfhp need an fh_put
1613  */
1614 __be32
1615 nfsd_rename(struct svc_rqst *rqstp, struct svc_fh *ffhp, char *fname, int flen,
1616                             struct svc_fh *tfhp, char *tname, int tlen)
1617 {
1618         struct dentry   *fdentry, *tdentry, *odentry, *ndentry, *trap;
1619         struct inode    *fdir, *tdir;
1620         __be32          err;
1621         int             host_err;
1622
1623         err = fh_verify(rqstp, ffhp, S_IFDIR, NFSD_MAY_REMOVE);
1624         if (err)
1625                 goto out;
1626         err = fh_verify(rqstp, tfhp, S_IFDIR, NFSD_MAY_CREATE);
1627         if (err)
1628                 goto out;
1629
1630         fdentry = ffhp->fh_dentry;
1631         fdir = d_inode(fdentry);
1632
1633         tdentry = tfhp->fh_dentry;
1634         tdir = d_inode(tdentry);
1635
1636         err = nfserr_perm;
1637         if (!flen || isdotent(fname, flen) || !tlen || isdotent(tname, tlen))
1638                 goto out;
1639
1640         host_err = fh_want_write(ffhp);
1641         if (host_err) {
1642                 err = nfserrno(host_err);
1643                 goto out;
1644         }
1645
1646         /* cannot use fh_lock as we need deadlock protective ordering
1647          * so do it by hand */
1648         trap = lock_rename(tdentry, fdentry);
1649         ffhp->fh_locked = tfhp->fh_locked = true;
1650         fill_pre_wcc(ffhp);
1651         fill_pre_wcc(tfhp);
1652
1653         odentry = lookup_one_len(fname, fdentry, flen);
1654         host_err = PTR_ERR(odentry);
1655         if (IS_ERR(odentry))
1656                 goto out_nfserr;
1657
1658         host_err = -ENOENT;
1659         if (d_really_is_negative(odentry))
1660                 goto out_dput_old;
1661         host_err = -EINVAL;
1662         if (odentry == trap)
1663                 goto out_dput_old;
1664
1665         ndentry = lookup_one_len(tname, tdentry, tlen);
1666         host_err = PTR_ERR(ndentry);
1667         if (IS_ERR(ndentry))
1668                 goto out_dput_old;
1669         host_err = -ENOTEMPTY;
1670         if (ndentry == trap)
1671                 goto out_dput_new;
1672
1673         host_err = -EXDEV;
1674         if (ffhp->fh_export->ex_path.mnt != tfhp->fh_export->ex_path.mnt)
1675                 goto out_dput_new;
1676         if (ffhp->fh_export->ex_path.dentry != tfhp->fh_export->ex_path.dentry)
1677                 goto out_dput_new;
1678
1679         host_err = vfs_rename(fdir, odentry, tdir, ndentry, NULL, 0);
1680         if (!host_err) {
1681                 host_err = commit_metadata(tfhp);
1682                 if (!host_err)
1683                         host_err = commit_metadata(ffhp);
1684         }
1685  out_dput_new:
1686         dput(ndentry);
1687  out_dput_old:
1688         dput(odentry);
1689  out_nfserr:
1690         err = nfserrno(host_err);
1691         /*
1692          * We cannot rely on fh_unlock on the two filehandles,
1693          * as that would do the wrong thing if the two directories
1694          * were the same, so again we do it by hand.
1695          */
1696         fill_post_wcc(ffhp);
1697         fill_post_wcc(tfhp);
1698         unlock_rename(tdentry, fdentry);
1699         ffhp->fh_locked = tfhp->fh_locked = false;
1700         fh_drop_write(ffhp);
1701
1702 out:
1703         return err;
1704 }
1705
1706 /*
1707  * Unlink a file or directory
1708  * N.B. After this call fhp needs an fh_put
1709  */
1710 __be32
1711 nfsd_unlink(struct svc_rqst *rqstp, struct svc_fh *fhp, int type,
1712                                 char *fname, int flen)
1713 {
1714         struct dentry   *dentry, *rdentry;
1715         struct inode    *dirp;
1716         __be32          err;
1717         int             host_err;
1718
1719         err = nfserr_acces;
1720         if (!flen || isdotent(fname, flen))
1721                 goto out;
1722         err = fh_verify(rqstp, fhp, S_IFDIR, NFSD_MAY_REMOVE);
1723         if (err)
1724                 goto out;
1725
1726         host_err = fh_want_write(fhp);
1727         if (host_err)
1728                 goto out_nfserr;
1729
1730         fh_lock_nested(fhp, I_MUTEX_PARENT);
1731         dentry = fhp->fh_dentry;
1732         dirp = d_inode(dentry);
1733
1734         rdentry = lookup_one_len(fname, dentry, flen);
1735         host_err = PTR_ERR(rdentry);
1736         if (IS_ERR(rdentry))
1737                 goto out_nfserr;
1738
1739         if (d_really_is_negative(rdentry)) {
1740                 dput(rdentry);
1741                 err = nfserr_noent;
1742                 goto out;
1743         }
1744
1745         if (!type)
1746                 type = d_inode(rdentry)->i_mode & S_IFMT;
1747
1748         if (type != S_IFDIR)
1749                 host_err = vfs_unlink(dirp, rdentry, NULL);
1750         else
1751                 host_err = vfs_rmdir(dirp, rdentry);
1752         if (!host_err)
1753                 host_err = commit_metadata(fhp);
1754         dput(rdentry);
1755
1756 out_nfserr:
1757         err = nfserrno(host_err);
1758 out:
1759         return err;
1760 }
1761
1762 /*
1763  * We do this buffering because we must not call back into the file
1764  * system's ->lookup() method from the filldir callback. That may well
1765  * deadlock a number of file systems.
1766  *
1767  * This is based heavily on the implementation of same in XFS.
1768  */
1769 struct buffered_dirent {
1770         u64             ino;
1771         loff_t          offset;
1772         int             namlen;
1773         unsigned int    d_type;
1774         char            name[];
1775 };
1776
1777 struct readdir_data {
1778         struct dir_context ctx;
1779         char            *dirent;
1780         size_t          used;
1781         int             full;
1782 };
1783
1784 static int nfsd_buffered_filldir(struct dir_context *ctx, const char *name,
1785                                  int namlen, loff_t offset, u64 ino,
1786                                  unsigned int d_type)
1787 {
1788         struct readdir_data *buf =
1789                 container_of(ctx, struct readdir_data, ctx);
1790         struct buffered_dirent *de = (void *)(buf->dirent + buf->used);
1791         unsigned int reclen;
1792
1793         reclen = ALIGN(sizeof(struct buffered_dirent) + namlen, sizeof(u64));
1794         if (buf->used + reclen > PAGE_SIZE) {
1795                 buf->full = 1;
1796                 return -EINVAL;
1797         }
1798
1799         de->namlen = namlen;
1800         de->offset = offset;
1801         de->ino = ino;
1802         de->d_type = d_type;
1803         memcpy(de->name, name, namlen);
1804         buf->used += reclen;
1805
1806         return 0;
1807 }
1808
1809 static __be32 nfsd_buffered_readdir(struct file *file, nfsd_filldir_t func,
1810                                     struct readdir_cd *cdp, loff_t *offsetp)
1811 {
1812         struct buffered_dirent *de;
1813         int host_err;
1814         int size;
1815         loff_t offset;
1816         struct readdir_data buf = {
1817                 .ctx.actor = nfsd_buffered_filldir,
1818                 .dirent = (void *)__get_free_page(GFP_KERNEL)
1819         };
1820
1821         if (!buf.dirent)
1822                 return nfserrno(-ENOMEM);
1823
1824         offset = *offsetp;
1825
1826         while (1) {
1827                 struct inode *dir_inode = file_inode(file);
1828                 unsigned int reclen;
1829
1830                 cdp->err = nfserr_eof; /* will be cleared on successful read */
1831                 buf.used = 0;
1832                 buf.full = 0;
1833
1834                 host_err = iterate_dir(file, &buf.ctx);
1835                 if (buf.full)
1836                         host_err = 0;
1837
1838                 if (host_err < 0)
1839                         break;
1840
1841                 size = buf.used;
1842
1843                 if (!size)
1844                         break;
1845
1846                 /*
1847                  * Various filldir functions may end up calling back into
1848                  * lookup_one_len() and the file system's ->lookup() method.
1849                  * These expect i_mutex to be held, as it would within readdir.
1850                  */
1851                 host_err = mutex_lock_killable(&dir_inode->i_mutex);
1852                 if (host_err)
1853                         break;
1854
1855                 de = (struct buffered_dirent *)buf.dirent;
1856                 while (size > 0) {
1857                         offset = de->offset;
1858
1859                         if (func(cdp, de->name, de->namlen, de->offset,
1860                                  de->ino, de->d_type))
1861                                 break;
1862
1863                         if (cdp->err != nfs_ok)
1864                                 break;
1865
1866                         reclen = ALIGN(sizeof(*de) + de->namlen,
1867                                        sizeof(u64));
1868                         size -= reclen;
1869                         de = (struct buffered_dirent *)((char *)de + reclen);
1870                 }
1871                 mutex_unlock(&dir_inode->i_mutex);
1872                 if (size > 0) /* We bailed out early */
1873                         break;
1874
1875                 offset = vfs_llseek(file, 0, SEEK_CUR);
1876         }
1877
1878         free_page((unsigned long)(buf.dirent));
1879
1880         if (host_err)
1881                 return nfserrno(host_err);
1882
1883         *offsetp = offset;
1884         return cdp->err;
1885 }
1886
1887 /*
1888  * Read entries from a directory.
1889  * The  NFSv3/4 verifier we ignore for now.
1890  */
1891 __be32
1892 nfsd_readdir(struct svc_rqst *rqstp, struct svc_fh *fhp, loff_t *offsetp, 
1893              struct readdir_cd *cdp, nfsd_filldir_t func)
1894 {
1895         __be32          err;
1896         struct file     *file;
1897         loff_t          offset = *offsetp;
1898         int             may_flags = NFSD_MAY_READ;
1899
1900         /* NFSv2 only supports 32 bit cookies */
1901         if (rqstp->rq_vers > 2)
1902                 may_flags |= NFSD_MAY_64BIT_COOKIE;
1903
1904         err = nfsd_open(rqstp, fhp, S_IFDIR, may_flags, &file);
1905         if (err)
1906                 goto out;
1907
1908         offset = vfs_llseek(file, offset, SEEK_SET);
1909         if (offset < 0) {
1910                 err = nfserrno((int)offset);
1911                 goto out_close;
1912         }
1913
1914         err = nfsd_buffered_readdir(file, func, cdp, offsetp);
1915
1916         if (err == nfserr_eof || err == nfserr_toosmall)
1917                 err = nfs_ok; /* can still be found in ->err */
1918 out_close:
1919         fput(file);
1920 out:
1921         return err;
1922 }
1923
1924 /*
1925  * Get file system stats
1926  * N.B. After this call fhp needs an fh_put
1927  */
1928 __be32
1929 nfsd_statfs(struct svc_rqst *rqstp, struct svc_fh *fhp, struct kstatfs *stat, int access)
1930 {
1931         __be32 err;
1932
1933         err = fh_verify(rqstp, fhp, 0, NFSD_MAY_NOP | access);
1934         if (!err) {
1935                 struct path path = {
1936                         .mnt    = fhp->fh_export->ex_path.mnt,
1937                         .dentry = fhp->fh_dentry,
1938                 };
1939                 if (vfs_statfs(&path, stat))
1940                         err = nfserr_io;
1941         }
1942         return err;
1943 }
1944
1945 static int exp_rdonly(struct svc_rqst *rqstp, struct svc_export *exp)
1946 {
1947         return nfsexp_flags(rqstp, exp) & NFSEXP_READONLY;
1948 }
1949
1950 /*
1951  * Check for a user's access permissions to this inode.
1952  */
1953 __be32
1954 nfsd_permission(struct svc_rqst *rqstp, struct svc_export *exp,
1955                                         struct dentry *dentry, int acc)
1956 {
1957         struct inode    *inode = d_inode(dentry);
1958         int             err;
1959
1960         if ((acc & NFSD_MAY_MASK) == NFSD_MAY_NOP)
1961                 return 0;
1962 #if 0
1963         dprintk("nfsd: permission 0x%x%s%s%s%s%s%s%s mode 0%o%s%s%s\n",
1964                 acc,
1965                 (acc & NFSD_MAY_READ)?  " read"  : "",
1966                 (acc & NFSD_MAY_WRITE)? " write" : "",
1967                 (acc & NFSD_MAY_EXEC)?  " exec"  : "",
1968                 (acc & NFSD_MAY_SATTR)? " sattr" : "",
1969                 (acc & NFSD_MAY_TRUNC)? " trunc" : "",
1970                 (acc & NFSD_MAY_LOCK)?  " lock"  : "",
1971                 (acc & NFSD_MAY_OWNER_OVERRIDE)? " owneroverride" : "",
1972                 inode->i_mode,
1973                 IS_IMMUTABLE(inode)?    " immut" : "",
1974                 IS_APPEND(inode)?       " append" : "",
1975                 __mnt_is_readonly(exp->ex_path.mnt)?    " ro" : "");
1976         dprintk("      owner %d/%d user %d/%d\n",
1977                 inode->i_uid, inode->i_gid, current_fsuid(), current_fsgid());
1978 #endif
1979
1980         /* Normally we reject any write/sattr etc access on a read-only file
1981          * system.  But if it is IRIX doing check on write-access for a 
1982          * device special file, we ignore rofs.
1983          */
1984         if (!(acc & NFSD_MAY_LOCAL_ACCESS))
1985                 if (acc & (NFSD_MAY_WRITE | NFSD_MAY_SATTR | NFSD_MAY_TRUNC)) {
1986                         if (exp_rdonly(rqstp, exp) ||
1987                             __mnt_is_readonly(exp->ex_path.mnt))
1988                                 return nfserr_rofs;
1989                         if (/* (acc & NFSD_MAY_WRITE) && */ IS_IMMUTABLE(inode))
1990                                 return nfserr_perm;
1991                 }
1992         if ((acc & NFSD_MAY_TRUNC) && IS_APPEND(inode))
1993                 return nfserr_perm;
1994
1995         if (acc & NFSD_MAY_LOCK) {
1996                 /* If we cannot rely on authentication in NLM requests,
1997                  * just allow locks, otherwise require read permission, or
1998                  * ownership
1999                  */
2000                 if (exp->ex_flags & NFSEXP_NOAUTHNLM)
2001                         return 0;
2002                 else
2003                         acc = NFSD_MAY_READ | NFSD_MAY_OWNER_OVERRIDE;
2004         }
2005         /*
2006          * The file owner always gets access permission for accesses that
2007          * would normally be checked at open time. This is to make
2008          * file access work even when the client has done a fchmod(fd, 0).
2009          *
2010          * However, `cp foo bar' should fail nevertheless when bar is
2011          * readonly. A sensible way to do this might be to reject all
2012          * attempts to truncate a read-only file, because a creat() call
2013          * always implies file truncation.
2014          * ... but this isn't really fair.  A process may reasonably call
2015          * ftruncate on an open file descriptor on a file with perm 000.
2016          * We must trust the client to do permission checking - using "ACCESS"
2017          * with NFSv3.
2018          */
2019         if ((acc & NFSD_MAY_OWNER_OVERRIDE) &&
2020             uid_eq(inode->i_uid, current_fsuid()))
2021                 return 0;
2022
2023         /* This assumes  NFSD_MAY_{READ,WRITE,EXEC} == MAY_{READ,WRITE,EXEC} */
2024         err = inode_permission(inode, acc & (MAY_READ|MAY_WRITE|MAY_EXEC));
2025
2026         /* Allow read access to binaries even when mode 111 */
2027         if (err == -EACCES && S_ISREG(inode->i_mode) &&
2028              (acc == (NFSD_MAY_READ | NFSD_MAY_OWNER_OVERRIDE) ||
2029               acc == (NFSD_MAY_READ | NFSD_MAY_READ_IF_EXEC)))
2030                 err = inode_permission(inode, MAY_EXEC);
2031
2032         return err? nfserrno(err) : 0;
2033 }
2034
2035 void
2036 nfsd_racache_shutdown(void)
2037 {
2038         struct raparms *raparm, *last_raparm;
2039         unsigned int i;
2040
2041         dprintk("nfsd: freeing readahead buffers.\n");
2042
2043         for (i = 0; i < RAPARM_HASH_SIZE; i++) {
2044                 raparm = raparm_hash[i].pb_head;
2045                 while(raparm) {
2046                         last_raparm = raparm;
2047                         raparm = raparm->p_next;
2048                         kfree(last_raparm);
2049                 }
2050                 raparm_hash[i].pb_head = NULL;
2051         }
2052 }
2053 /*
2054  * Initialize readahead param cache
2055  */
2056 int
2057 nfsd_racache_init(int cache_size)
2058 {
2059         int     i;
2060         int     j = 0;
2061         int     nperbucket;
2062         struct raparms **raparm = NULL;
2063
2064
2065         if (raparm_hash[0].pb_head)
2066                 return 0;
2067         nperbucket = DIV_ROUND_UP(cache_size, RAPARM_HASH_SIZE);
2068         nperbucket = max(2, nperbucket);
2069         cache_size = nperbucket * RAPARM_HASH_SIZE;
2070
2071         dprintk("nfsd: allocating %d readahead buffers.\n", cache_size);
2072
2073         for (i = 0; i < RAPARM_HASH_SIZE; i++) {
2074                 spin_lock_init(&raparm_hash[i].pb_lock);
2075
2076                 raparm = &raparm_hash[i].pb_head;
2077                 for (j = 0; j < nperbucket; j++) {
2078                         *raparm = kzalloc(sizeof(struct raparms), GFP_KERNEL);
2079                         if (!*raparm)
2080                                 goto out_nomem;
2081                         raparm = &(*raparm)->p_next;
2082                 }
2083                 *raparm = NULL;
2084         }
2085
2086         nfsdstats.ra_size = cache_size;
2087         return 0;
2088
2089 out_nomem:
2090         dprintk("nfsd: kmalloc failed, freeing readahead buffers\n");
2091         nfsd_racache_shutdown();
2092         return -ENOMEM;
2093 }