isci: Free host lock for SATA/STP abort escalation at submission time.
[firefly-linux-kernel-4.4.55.git] / drivers / scsi / isci / request.c
1 /*
2  * This file is provided under a dual BSD/GPLv2 license.  When using or
3  * redistributing this file, you may do so under either license.
4  *
5  * GPL LICENSE SUMMARY
6  *
7  * Copyright(c) 2008 - 2011 Intel Corporation. All rights reserved.
8  *
9  * This program is free software; you can redistribute it and/or modify
10  * it under the terms of version 2 of the GNU General Public License as
11  * published by the Free Software Foundation.
12  *
13  * This program is distributed in the hope that it will be useful, but
14  * WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * General Public License for more details.
17  *
18  * You should have received a copy of the GNU General Public License
19  * along with this program; if not, write to the Free Software
20  * Foundation, Inc., 51 Franklin St - Fifth Floor, Boston, MA 02110-1301 USA.
21  * The full GNU General Public License is included in this distribution
22  * in the file called LICENSE.GPL.
23  *
24  * BSD LICENSE
25  *
26  * Copyright(c) 2008 - 2011 Intel Corporation. All rights reserved.
27  * All rights reserved.
28  *
29  * Redistribution and use in source and binary forms, with or without
30  * modification, are permitted provided that the following conditions
31  * are met:
32  *
33  *   * Redistributions of source code must retain the above copyright
34  *     notice, this list of conditions and the following disclaimer.
35  *   * Redistributions in binary form must reproduce the above copyright
36  *     notice, this list of conditions and the following disclaimer in
37  *     the documentation and/or other materials provided with the
38  *     distribution.
39  *   * Neither the name of Intel Corporation nor the names of its
40  *     contributors may be used to endorse or promote products derived
41  *     from this software without specific prior written permission.
42  *
43  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
44  * "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
45  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
46  * A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
47  * OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
48  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
49  * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
50  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
51  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
52  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
53  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
54  */
55
56 #include <scsi/sas_ata.h>
57 #include "isci.h"
58 #include "scic_remote_device.h"
59 #include "scic_io_request.h"
60 #include "scic_task_request.h"
61 #include "scic_port.h"
62 #include "task.h"
63 #include "request.h"
64 #include "sata.h"
65 #include "scu_completion_codes.h"
66
67
68 static enum sci_status isci_request_ssp_request_construct(
69         struct isci_request *request)
70 {
71         enum sci_status status;
72
73         dev_dbg(&request->isci_host->pdev->dev,
74                 "%s: request = %p\n",
75                 __func__,
76                 request);
77         status = scic_io_request_construct_basic_ssp(
78                 request->sci_request_handle
79                 );
80         return status;
81 }
82
83 static enum sci_status isci_request_stp_request_construct(
84         struct isci_request *request)
85 {
86         struct sas_task *task = isci_request_access_task(request);
87         enum sci_status status;
88         struct host_to_dev_fis *register_fis;
89
90         dev_dbg(&request->isci_host->pdev->dev,
91                 "%s: request = %p\n",
92                 __func__,
93                 request);
94
95         /* Get the host_to_dev_fis from the core and copy
96          * the fis from the task into it.
97          */
98         register_fis = isci_sata_task_to_fis_copy(task);
99
100         status = scic_io_request_construct_basic_sata(
101                 request->sci_request_handle
102                 );
103
104         /* Set the ncq tag in the fis, from the queue
105          * command in the task.
106          */
107         if (isci_sata_is_task_ncq(task)) {
108
109                 isci_sata_set_ncq_tag(
110                         register_fis,
111                         task
112                         );
113         }
114
115         return status;
116 }
117
118 /**
119  * isci_smp_request_build() - This function builds the smp request object.
120  * @isci_host: This parameter specifies the ISCI host object
121  * @request: This parameter points to the isci_request object allocated in the
122  *    request construct function.
123  * @sci_device: This parameter is the handle for the sci core's remote device
124  *    object that is the destination for this request.
125  *
126  * SCI_SUCCESS on successfull completion, or specific failure code.
127  */
128 static enum sci_status isci_smp_request_build(
129         struct isci_request *request)
130 {
131         enum sci_status status = SCI_FAILURE;
132         struct sas_task *task = isci_request_access_task(request);
133
134         void *command_iu_address =
135                 scic_io_request_get_command_iu_address(
136                         request->sci_request_handle
137                         );
138
139         dev_dbg(&request->isci_host->pdev->dev,
140                 "%s: request = %p\n",
141                 __func__,
142                 request);
143         dev_dbg(&request->isci_host->pdev->dev,
144                 "%s: smp_req len = %d\n",
145                 __func__,
146                 task->smp_task.smp_req.length);
147
148         /* copy the smp_command to the address; */
149         sg_copy_to_buffer(&task->smp_task.smp_req, 1,
150                           (char *)command_iu_address,
151                           sizeof(struct smp_request)
152                           );
153
154         status = scic_io_request_construct_smp(request->sci_request_handle);
155         if (status != SCI_SUCCESS)
156                 dev_warn(&request->isci_host->pdev->dev,
157                          "%s: scic_io_request_construct_smp failed with "
158                          "status = %d\n",
159                          __func__,
160                          status);
161
162         return status;
163 }
164
165 /**
166  * isci_io_request_build() - This function builds the io request object.
167  * @isci_host: This parameter specifies the ISCI host object
168  * @request: This parameter points to the isci_request object allocated in the
169  *    request construct function.
170  * @sci_device: This parameter is the handle for the sci core's remote device
171  *    object that is the destination for this request.
172  *
173  * SCI_SUCCESS on successfull completion, or specific failure code.
174  */
175 static enum sci_status isci_io_request_build(
176         struct isci_host *isci_host,
177         struct isci_request *request,
178         struct isci_remote_device *isci_device)
179 {
180         struct smp_discover_response_protocols dev_protocols;
181         enum sci_status status = SCI_SUCCESS;
182         struct sas_task *task = isci_request_access_task(request);
183         struct scic_sds_remote_device *sci_device = to_sci_dev(isci_device);
184
185         dev_dbg(&isci_host->pdev->dev,
186                 "%s: isci_device = 0x%p; request = %p, "
187                 "num_scatter = %d\n",
188                 __func__,
189                 isci_device,
190                 request,
191                 task->num_scatter);
192
193         /* map the sgl addresses, if present.
194          * libata does the mapping for sata devices
195          * before we get the request.
196          */
197         if (task->num_scatter &&
198             !sas_protocol_ata(task->task_proto) &&
199             !(SAS_PROTOCOL_SMP & task->task_proto)) {
200
201                 request->num_sg_entries = dma_map_sg(
202                         &isci_host->pdev->dev,
203                         task->scatter,
204                         task->num_scatter,
205                         task->data_dir
206                         );
207
208                 if (request->num_sg_entries == 0)
209                         return SCI_FAILURE_INSUFFICIENT_RESOURCES;
210         }
211
212         /* build the common request object. For now,
213          * we will let the core allocate the IO tag.
214          */
215         status = scic_io_request_construct(
216                 isci_host->core_controller,
217                 sci_device,
218                 SCI_CONTROLLER_INVALID_IO_TAG,
219                 request,
220                 request->sci_request_mem_ptr,
221                 (struct scic_sds_request **)&request->sci_request_handle
222                 );
223
224         if (status != SCI_SUCCESS) {
225                 dev_warn(&isci_host->pdev->dev,
226                          "%s: failed request construct\n",
227                          __func__);
228                 return SCI_FAILURE;
229         }
230
231         sci_object_set_association(request->sci_request_handle, request);
232
233         /* Determine protocol and call the appropriate basic constructor */
234         scic_remote_device_get_protocols(sci_device, &dev_protocols);
235         if (dev_protocols.u.bits.attached_ssp_target)
236                 status = isci_request_ssp_request_construct(request);
237         else if (dev_protocols.u.bits.attached_stp_target)
238                 status = isci_request_stp_request_construct(request);
239         else if (dev_protocols.u.bits.attached_smp_target)
240                 status = isci_smp_request_build(request);
241         else {
242                 dev_warn(&isci_host->pdev->dev,
243                          "%s: unknown protocol\n", __func__);
244                 return SCI_FAILURE;
245         }
246
247         return SCI_SUCCESS;
248 }
249
250
251 /**
252  * isci_request_alloc_core() - This function gets the request object from the
253  *    isci_host dma cache.
254  * @isci_host: This parameter specifies the ISCI host object
255  * @isci_request: This parameter will contain the pointer to the new
256  *    isci_request object.
257  * @isci_device: This parameter is the pointer to the isci remote device object
258  *    that is the destination for this request.
259  * @gfp_flags: This parameter specifies the os allocation flags.
260  *
261  * SCI_SUCCESS on successfull completion, or specific failure code.
262  */
263 static int isci_request_alloc_core(
264         struct isci_host *isci_host,
265         struct isci_request **isci_request,
266         struct isci_remote_device *isci_device,
267         gfp_t gfp_flags)
268 {
269         int ret = 0;
270         dma_addr_t handle;
271         struct isci_request *request;
272
273
274         /* get pointer to dma memory. This actually points
275          * to both the isci_remote_device object and the
276          * sci object. The isci object is at the beginning
277          * of the memory allocated here.
278          */
279         request = dma_pool_alloc(isci_host->dma_pool, gfp_flags, &handle);
280         if (!request) {
281                 dev_warn(&isci_host->pdev->dev,
282                          "%s: dma_pool_alloc returned NULL\n", __func__);
283                 return -ENOMEM;
284         }
285
286         /* initialize the request object.       */
287         spin_lock_init(&request->state_lock);
288         request->sci_request_mem_ptr = ((u8 *)request) +
289                                        sizeof(struct isci_request);
290         request->request_daddr = handle;
291         request->isci_host = isci_host;
292         request->isci_device = isci_device;
293         request->io_request_completion = NULL;
294
295         request->request_alloc_size = isci_host->dma_pool_alloc_size;
296         request->num_sg_entries = 0;
297
298         request->complete_in_target = false;
299
300         INIT_LIST_HEAD(&request->completed_node);
301         INIT_LIST_HEAD(&request->dev_node);
302
303         *isci_request = request;
304         isci_request_change_state(request, allocated);
305
306         return ret;
307 }
308
309 static int isci_request_alloc_io(
310         struct isci_host *isci_host,
311         struct sas_task *task,
312         struct isci_request **isci_request,
313         struct isci_remote_device *isci_device,
314         gfp_t gfp_flags)
315 {
316         int retval = isci_request_alloc_core(isci_host, isci_request,
317                                              isci_device, gfp_flags);
318
319         if (!retval) {
320                 (*isci_request)->ttype_ptr.io_task_ptr = task;
321                 (*isci_request)->ttype                 = io_task;
322
323                 task->lldd_task = *isci_request;
324         }
325         return retval;
326 }
327
328 /**
329  * isci_request_alloc_tmf() - This function gets the request object from the
330  *    isci_host dma cache and initializes the relevant fields as a sas_task.
331  * @isci_host: This parameter specifies the ISCI host object
332  * @sas_task: This parameter is the task struct from the upper layer driver.
333  * @isci_request: This parameter will contain the pointer to the new
334  *    isci_request object.
335  * @isci_device: This parameter is the pointer to the isci remote device object
336  *    that is the destination for this request.
337  * @gfp_flags: This parameter specifies the os allocation flags.
338  *
339  * SCI_SUCCESS on successfull completion, or specific failure code.
340  */
341 int isci_request_alloc_tmf(
342         struct isci_host *isci_host,
343         struct isci_tmf *isci_tmf,
344         struct isci_request **isci_request,
345         struct isci_remote_device *isci_device,
346         gfp_t gfp_flags)
347 {
348         int retval = isci_request_alloc_core(isci_host, isci_request,
349                                              isci_device, gfp_flags);
350
351         if (!retval) {
352
353                 (*isci_request)->ttype_ptr.tmf_task_ptr = isci_tmf;
354                 (*isci_request)->ttype = tmf_task;
355         }
356         return retval;
357 }
358
359 /**
360  * isci_request_execute() - This function allocates the isci_request object,
361  *    all fills in some common fields.
362  * @isci_host: This parameter specifies the ISCI host object
363  * @sas_task: This parameter is the task struct from the upper layer driver.
364  * @isci_request: This parameter will contain the pointer to the new
365  *    isci_request object.
366  * @gfp_flags: This parameter specifies the os allocation flags.
367  *
368  * SCI_SUCCESS on successfull completion, or specific failure code.
369  */
370 int isci_request_execute(
371         struct isci_host *isci_host,
372         struct sas_task *task,
373         struct isci_request **isci_request,
374         gfp_t gfp_flags)
375 {
376         int ret = 0;
377         struct scic_sds_remote_device *sci_device;
378         enum sci_status status = SCI_FAILURE_UNSUPPORTED_PROTOCOL;
379         struct isci_remote_device *isci_device;
380         struct isci_request *request;
381         unsigned long flags;
382
383         isci_device = isci_dev_from_domain_dev(task->dev);
384         sci_device = to_sci_dev(isci_device);
385
386         /* do common allocation and init of request object. */
387         ret = isci_request_alloc_io(
388                 isci_host,
389                 task,
390                 &request,
391                 isci_device,
392                 gfp_flags
393                 );
394
395         if (ret)
396                 goto out;
397
398         status = isci_io_request_build(isci_host, request, isci_device);
399         if (status == SCI_SUCCESS) {
400
401                 spin_lock_irqsave(&isci_host->scic_lock, flags);
402
403                 /* send the request, let the core assign the IO TAG.    */
404                 status = scic_controller_start_io(
405                         isci_host->core_controller,
406                         sci_device,
407                         request->sci_request_handle,
408                         SCI_CONTROLLER_INVALID_IO_TAG
409                         );
410
411                 if (status == SCI_SUCCESS ||
412                     status == SCI_FAILURE_REMOTE_DEVICE_RESET_REQUIRED) {
413
414                         /* Either I/O started OK, or the core has signaled that
415                          * the device needs a target reset.
416                          *
417                          * In either case, hold onto the I/O for later.
418                          *
419                          * Update it's status and add it to the list in the
420                          * remote device object.
421                          */
422                         isci_request_change_state(request, started);
423                         list_add(&request->dev_node,
424                                  &isci_device->reqs_in_process);
425
426                         if (status == SCI_SUCCESS) {
427                                 /* Save the tag for possible task mgmt later. */
428                                 request->io_tag = scic_io_request_get_io_tag(
429                                                      request->sci_request_handle);
430                         } else {
431                                 /* The request did not really start in the
432                                  * hardware, so clear the request handle
433                                  * here so no terminations will be done.
434                                  */
435                                 request->sci_request_handle = NULL;
436                         }
437
438                 } else
439                         dev_warn(&isci_host->pdev->dev,
440                                  "%s: failed request start (0x%x)\n",
441                                  __func__, status);
442
443                 spin_unlock_irqrestore(&isci_host->scic_lock, flags);
444
445                 if (status ==
446                     SCI_FAILURE_REMOTE_DEVICE_RESET_REQUIRED) {
447                         /* Signal libsas that we need the SCSI error
448                         * handler thread to work on this I/O and that
449                         * we want a device reset.
450                         */
451                         spin_lock_irqsave(&task->task_state_lock, flags);
452                         task->task_state_flags |= SAS_TASK_NEED_DEV_RESET;
453                         spin_unlock_irqrestore(&task->task_state_lock, flags);
454
455                         /* Cause this task to be scheduled in the SCSI error handler
456                         * thread.
457                         */
458                         if (dev_is_sata(task->dev)) {
459                                 /* Since we are still in the submit path, and since
460                                 * libsas takes the host lock on behalf of SATA
461                                 * devices before I/O starts, we need to unlock
462                                 * before we can put the task in the error path.
463                                 */
464                                 raw_local_irq_save(flags);
465                                 spin_unlock(isci_host->shost->host_lock);
466                                 sas_task_abort(task);
467                                 spin_lock(isci_host->shost->host_lock);
468                                 raw_local_irq_restore(flags);
469                         } else
470                                 sas_task_abort(task);
471
472                         /* Change the status, since we are holding
473                         * the I/O until it is managed by the SCSI
474                         * error handler.
475                         */
476                         status = SCI_SUCCESS;
477                 }
478
479         } else
480                 dev_warn(&isci_host->pdev->dev,
481                          "%s: request_construct failed - status = 0x%x\n",
482                          __func__,
483                          status);
484
485  out:
486         if (status != SCI_SUCCESS) {
487
488                 /* release dma memory on failure. */
489                 isci_request_free(isci_host, request);
490                 request = NULL;
491                 ret = SCI_FAILURE;
492         }
493
494         *isci_request = request;
495         return ret;
496 }
497
498
499 /**
500  * isci_request_process_response_iu() - This function sets the status and
501  *    response iu, in the task struct, from the request object for the upper
502  *    layer driver.
503  * @sas_task: This parameter is the task struct from the upper layer driver.
504  * @resp_iu: This parameter points to the response iu of the completed request.
505  * @dev: This parameter specifies the linux device struct.
506  *
507  * none.
508  */
509 static void isci_request_process_response_iu(
510         struct sas_task *task,
511         struct ssp_response_iu *resp_iu,
512         struct device *dev)
513 {
514         dev_dbg(dev,
515                 "%s: resp_iu = %p "
516                 "resp_iu->status = 0x%x,\nresp_iu->datapres = %d "
517                 "resp_iu->response_data_len = %x, "
518                 "resp_iu->sense_data_len = %x\nrepsonse data: ",
519                 __func__,
520                 resp_iu,
521                 resp_iu->status,
522                 resp_iu->datapres,
523                 resp_iu->response_data_len,
524                 resp_iu->sense_data_len);
525
526         task->task_status.stat = resp_iu->status;
527
528         /* libsas updates the task status fields based on the response iu. */
529         sas_ssp_task_response(dev, task, resp_iu);
530 }
531
532 /**
533  * isci_request_set_open_reject_status() - This function prepares the I/O
534  *    completion for OPEN_REJECT conditions.
535  * @request: This parameter is the completed isci_request object.
536  * @response_ptr: This parameter specifies the service response for the I/O.
537  * @status_ptr: This parameter specifies the exec status for the I/O.
538  * @complete_to_host_ptr: This parameter specifies the action to be taken by
539  *    the LLDD with respect to completing this request or forcing an abort
540  *    condition on the I/O.
541  * @open_rej_reason: This parameter specifies the encoded reason for the
542  *    abandon-class reject.
543  *
544  * none.
545  */
546 static void isci_request_set_open_reject_status(
547         struct isci_request *request,
548         struct sas_task *task,
549         enum service_response *response_ptr,
550         enum exec_status *status_ptr,
551         enum isci_completion_selection *complete_to_host_ptr,
552         enum sas_open_rej_reason open_rej_reason)
553 {
554         /* Task in the target is done. */
555         request->complete_in_target       = true;
556         *response_ptr                     = SAS_TASK_UNDELIVERED;
557         *status_ptr                       = SAS_OPEN_REJECT;
558         *complete_to_host_ptr             = isci_perform_normal_io_completion;
559         task->task_status.open_rej_reason = open_rej_reason;
560 }
561
562 /**
563  * isci_request_handle_controller_specific_errors() - This function decodes
564  *    controller-specific I/O completion error conditions.
565  * @request: This parameter is the completed isci_request object.
566  * @response_ptr: This parameter specifies the service response for the I/O.
567  * @status_ptr: This parameter specifies the exec status for the I/O.
568  * @complete_to_host_ptr: This parameter specifies the action to be taken by
569  *    the LLDD with respect to completing this request or forcing an abort
570  *    condition on the I/O.
571  *
572  * none.
573  */
574 static void isci_request_handle_controller_specific_errors(
575         struct isci_remote_device *isci_device,
576         struct isci_request *request,
577         struct sas_task *task,
578         enum service_response *response_ptr,
579         enum exec_status *status_ptr,
580         enum isci_completion_selection *complete_to_host_ptr)
581 {
582         unsigned int cstatus;
583
584         cstatus = scic_request_get_controller_status(
585                 request->sci_request_handle
586                 );
587
588         dev_dbg(&request->isci_host->pdev->dev,
589                 "%s: %p SCI_FAILURE_CONTROLLER_SPECIFIC_IO_ERR "
590                 "- controller status = 0x%x\n",
591                 __func__, request, cstatus);
592
593         /* Decode the controller-specific errors; most
594          * important is to recognize those conditions in which
595          * the target may still have a task outstanding that
596          * must be aborted.
597          *
598          * Note that there are SCU completion codes being
599          * named in the decode below for which SCIC has already
600          * done work to handle them in a way other than as
601          * a controller-specific completion code; these are left
602          * in the decode below for completeness sake.
603          */
604         switch (cstatus) {
605         case SCU_TASK_DONE_DMASETUP_DIRERR:
606         /* Also SCU_TASK_DONE_SMP_FRM_TYPE_ERR: */
607         case SCU_TASK_DONE_XFERCNT_ERR:
608                 /* Also SCU_TASK_DONE_SMP_UFI_ERR: */
609                 if (task->task_proto == SAS_PROTOCOL_SMP) {
610                         /* SCU_TASK_DONE_SMP_UFI_ERR == Task Done. */
611                         *response_ptr = SAS_TASK_COMPLETE;
612
613                         /* See if the device has been/is being stopped. Note
614                          * that we ignore the quiesce state, since we are
615                          * concerned about the actual device state.
616                          */
617                         if ((isci_device->status == isci_stopping) ||
618                             (isci_device->status == isci_stopped))
619                                 *status_ptr = SAS_DEVICE_UNKNOWN;
620                         else
621                                 *status_ptr = SAS_ABORTED_TASK;
622
623                         request->complete_in_target = true;
624
625                         *complete_to_host_ptr =
626                                 isci_perform_normal_io_completion;
627                 } else {
628                         /* Task in the target is not done. */
629                         *response_ptr = SAS_TASK_UNDELIVERED;
630
631                         if ((isci_device->status == isci_stopping) ||
632                             (isci_device->status == isci_stopped))
633                                 *status_ptr = SAS_DEVICE_UNKNOWN;
634                         else
635                                 *status_ptr = SAM_STAT_TASK_ABORTED;
636
637                         request->complete_in_target = false;
638
639                         *complete_to_host_ptr =
640                                 isci_perform_error_io_completion;
641                 }
642
643                 break;
644
645         case SCU_TASK_DONE_CRC_ERR:
646         case SCU_TASK_DONE_NAK_CMD_ERR:
647         case SCU_TASK_DONE_EXCESS_DATA:
648         case SCU_TASK_DONE_UNEXP_FIS:
649         /* Also SCU_TASK_DONE_UNEXP_RESP: */
650         case SCU_TASK_DONE_VIIT_ENTRY_NV:       /* TODO - conditions? */
651         case SCU_TASK_DONE_IIT_ENTRY_NV:        /* TODO - conditions? */
652         case SCU_TASK_DONE_RNCNV_OUTBOUND:      /* TODO - conditions? */
653                 /* These are conditions in which the target
654                  * has completed the task, so that no cleanup
655                  * is necessary.
656                  */
657                 *response_ptr = SAS_TASK_COMPLETE;
658
659                 /* See if the device has been/is being stopped. Note
660                  * that we ignore the quiesce state, since we are
661                  * concerned about the actual device state.
662                  */
663                 if ((isci_device->status == isci_stopping) ||
664                     (isci_device->status == isci_stopped))
665                         *status_ptr = SAS_DEVICE_UNKNOWN;
666                 else
667                         *status_ptr = SAS_ABORTED_TASK;
668
669                 request->complete_in_target = true;
670
671                 *complete_to_host_ptr = isci_perform_normal_io_completion;
672                 break;
673
674
675         /* Note that the only open reject completion codes seen here will be
676          * abandon-class codes; all others are automatically retried in the SCU.
677          */
678         case SCU_TASK_OPEN_REJECT_WRONG_DESTINATION:
679
680                 isci_request_set_open_reject_status(
681                         request, task, response_ptr, status_ptr,
682                         complete_to_host_ptr, SAS_OREJ_WRONG_DEST);
683                 break;
684
685         case SCU_TASK_OPEN_REJECT_ZONE_VIOLATION:
686
687                 /* Note - the return of AB0 will change when
688                  * libsas implements detection of zone violations.
689                  */
690                 isci_request_set_open_reject_status(
691                         request, task, response_ptr, status_ptr,
692                         complete_to_host_ptr, SAS_OREJ_RESV_AB0);
693                 break;
694
695         case SCU_TASK_OPEN_REJECT_RESERVED_ABANDON_1:
696
697                 isci_request_set_open_reject_status(
698                         request, task, response_ptr, status_ptr,
699                         complete_to_host_ptr, SAS_OREJ_RESV_AB1);
700                 break;
701
702         case SCU_TASK_OPEN_REJECT_RESERVED_ABANDON_2:
703
704                 isci_request_set_open_reject_status(
705                         request, task, response_ptr, status_ptr,
706                         complete_to_host_ptr, SAS_OREJ_RESV_AB2);
707                 break;
708
709         case SCU_TASK_OPEN_REJECT_RESERVED_ABANDON_3:
710
711                 isci_request_set_open_reject_status(
712                         request, task, response_ptr, status_ptr,
713                         complete_to_host_ptr, SAS_OREJ_RESV_AB3);
714                 break;
715
716         case SCU_TASK_OPEN_REJECT_BAD_DESTINATION:
717
718                 isci_request_set_open_reject_status(
719                         request, task, response_ptr, status_ptr,
720                         complete_to_host_ptr, SAS_OREJ_BAD_DEST);
721                 break;
722
723         case SCU_TASK_OPEN_REJECT_STP_RESOURCES_BUSY:
724
725                 isci_request_set_open_reject_status(
726                         request, task, response_ptr, status_ptr,
727                         complete_to_host_ptr, SAS_OREJ_STP_NORES);
728                 break;
729
730         case SCU_TASK_OPEN_REJECT_PROTOCOL_NOT_SUPPORTED:
731
732                 isci_request_set_open_reject_status(
733                         request, task, response_ptr, status_ptr,
734                         complete_to_host_ptr, SAS_OREJ_EPROTO);
735                 break;
736
737         case SCU_TASK_OPEN_REJECT_CONNECTION_RATE_NOT_SUPPORTED:
738
739                 isci_request_set_open_reject_status(
740                         request, task, response_ptr, status_ptr,
741                         complete_to_host_ptr, SAS_OREJ_CONN_RATE);
742                 break;
743
744         case SCU_TASK_DONE_LL_R_ERR:
745         /* Also SCU_TASK_DONE_ACK_NAK_TO: */
746         case SCU_TASK_DONE_LL_PERR:
747         case SCU_TASK_DONE_LL_SY_TERM:
748         /* Also SCU_TASK_DONE_NAK_ERR:*/
749         case SCU_TASK_DONE_LL_LF_TERM:
750         /* Also SCU_TASK_DONE_DATA_LEN_ERR: */
751         case SCU_TASK_DONE_LL_ABORT_ERR:
752         case SCU_TASK_DONE_SEQ_INV_TYPE:
753         /* Also SCU_TASK_DONE_UNEXP_XR: */
754         case SCU_TASK_DONE_XR_IU_LEN_ERR:
755         case SCU_TASK_DONE_INV_FIS_LEN:
756         /* Also SCU_TASK_DONE_XR_WD_LEN: */
757         case SCU_TASK_DONE_SDMA_ERR:
758         case SCU_TASK_DONE_OFFSET_ERR:
759         case SCU_TASK_DONE_MAX_PLD_ERR:
760         case SCU_TASK_DONE_LF_ERR:
761         case SCU_TASK_DONE_SMP_RESP_TO_ERR:  /* Escalate to dev reset? */
762         case SCU_TASK_DONE_SMP_LL_RX_ERR:
763         case SCU_TASK_DONE_UNEXP_DATA:
764         case SCU_TASK_DONE_UNEXP_SDBFIS:
765         case SCU_TASK_DONE_REG_ERR:
766         case SCU_TASK_DONE_SDB_ERR:
767         case SCU_TASK_DONE_TASK_ABORT:
768         default:
769                 /* Task in the target is not done. */
770                 *response_ptr = SAS_TASK_UNDELIVERED;
771                 *status_ptr = SAM_STAT_TASK_ABORTED;
772                 request->complete_in_target = false;
773
774                 *complete_to_host_ptr = isci_perform_error_io_completion;
775                 break;
776         }
777 }
778
779 /**
780  * isci_task_save_for_upper_layer_completion() - This function saves the
781  *    request for later completion to the upper layer driver.
782  * @host: This parameter is a pointer to the host on which the the request
783  *    should be queued (either as an error or success).
784  * @request: This parameter is the completed request.
785  * @response: This parameter is the response code for the completed task.
786  * @status: This parameter is the status code for the completed task.
787  *
788  * none.
789  */
790 static void isci_task_save_for_upper_layer_completion(
791         struct isci_host *host,
792         struct isci_request *request,
793         enum service_response response,
794         enum exec_status status,
795         enum isci_completion_selection task_notification_selection)
796 {
797         struct sas_task *task = isci_request_access_task(request);
798
799         task_notification_selection
800                 = isci_task_set_completion_status(task, response, status,
801                                                   task_notification_selection);
802
803         /* Tasks aborted specifically by a call to the lldd_abort_task
804          * function should not be completed to the host in the regular path.
805          */
806         switch (task_notification_selection) {
807
808         case isci_perform_normal_io_completion:
809
810                 /* Normal notification (task_done) */
811                 dev_dbg(&host->pdev->dev,
812                         "%s: Normal - task = %p, response=%d (%d), status=%d (%d)\n",
813                         __func__,
814                         task,
815                         task->task_status.resp, response,
816                         task->task_status.stat, status);
817                 /* Add to the completed list. */
818                 list_add(&request->completed_node,
819                          &host->requests_to_complete);
820
821                 /* Take the request off the device's pending request list. */
822                 list_del_init(&request->dev_node);
823                 break;
824
825         case isci_perform_aborted_io_completion:
826                 /* No notification to libsas because this request is
827                  * already in the abort path.
828                  */
829                 dev_warn(&host->pdev->dev,
830                          "%s: Aborted - task = %p, response=%d (%d), status=%d (%d)\n",
831                          __func__,
832                          task,
833                          task->task_status.resp, response,
834                          task->task_status.stat, status);
835
836                 /* Wake up whatever process was waiting for this
837                  * request to complete.
838                  */
839                 WARN_ON(request->io_request_completion == NULL);
840
841                 if (request->io_request_completion != NULL) {
842
843                         /* Signal whoever is waiting that this
844                         * request is complete.
845                         */
846                         complete(request->io_request_completion);
847                 }
848                 break;
849
850         case isci_perform_error_io_completion:
851                 /* Use sas_task_abort */
852                 dev_warn(&host->pdev->dev,
853                          "%s: Error - task = %p, response=%d (%d), status=%d (%d)\n",
854                          __func__,
855                          task,
856                          task->task_status.resp, response,
857                          task->task_status.stat, status);
858                 /* Add to the aborted list. */
859                 list_add(&request->completed_node,
860                          &host->requests_to_errorback);
861                 break;
862
863         default:
864                 dev_warn(&host->pdev->dev,
865                          "%s: Unknown - task = %p, response=%d (%d), status=%d (%d)\n",
866                          __func__,
867                          task,
868                          task->task_status.resp, response,
869                          task->task_status.stat, status);
870
871                 /* Add to the error to libsas list. */
872                 list_add(&request->completed_node,
873                          &host->requests_to_errorback);
874                 break;
875         }
876 }
877
878 /**
879  * isci_request_io_request_complete() - This function is called by the sci core
880  *    when an io request completes.
881  * @isci_host: This parameter specifies the ISCI host object
882  * @request: This parameter is the completed isci_request object.
883  * @completion_status: This parameter specifies the completion status from the
884  *    sci core.
885  *
886  * none.
887  */
888 void isci_request_io_request_complete(
889         struct        isci_host *isci_host,
890         struct        isci_request *request,
891         enum sci_io_status completion_status)
892 {
893         struct sas_task *task = isci_request_access_task(request);
894         struct ssp_response_iu *resp_iu;
895         void *resp_buf;
896         unsigned long task_flags;
897         struct isci_remote_device *isci_device   = request->isci_device;
898         enum service_response response       = SAS_TASK_UNDELIVERED;
899         enum exec_status status         = SAS_ABORTED_TASK;
900         enum isci_request_status request_status;
901         enum isci_completion_selection complete_to_host
902                 = isci_perform_normal_io_completion;
903
904         dev_dbg(&isci_host->pdev->dev,
905                 "%s: request = %p, task = %p,\n"
906                 "task->data_dir = %d completion_status = 0x%x\n",
907                 __func__,
908                 request,
909                 task,
910                 task->data_dir,
911                 completion_status);
912
913         spin_lock(&request->state_lock);
914         request_status = isci_request_get_state(request);
915
916         /* Decode the request status.  Note that if the request has been
917          * aborted by a task management function, we don't care
918          * what the status is.
919          */
920         switch (request_status) {
921
922         case aborted:
923                 /* "aborted" indicates that the request was aborted by a task
924                  * management function, since once a task management request is
925                  * perfomed by the device, the request only completes because
926                  * of the subsequent driver terminate.
927                  *
928                  * Aborted also means an external thread is explicitly managing
929                  * this request, so that we do not complete it up the stack.
930                  *
931                  * The target is still there (since the TMF was successful).
932                  */
933                 request->complete_in_target = true;
934                 response = SAS_TASK_COMPLETE;
935
936                 /* See if the device has been/is being stopped. Note
937                  * that we ignore the quiesce state, since we are
938                  * concerned about the actual device state.
939                  */
940                 if ((isci_device->status == isci_stopping)
941                     || (isci_device->status == isci_stopped)
942                     )
943                         status = SAS_DEVICE_UNKNOWN;
944                 else
945                         status = SAS_ABORTED_TASK;
946
947                 complete_to_host = isci_perform_aborted_io_completion;
948                 /* This was an aborted request. */
949
950                 spin_unlock(&request->state_lock);
951                 break;
952
953         case aborting:
954                 /* aborting means that the task management function tried and
955                  * failed to abort the request. We need to note the request
956                  * as SAS_TASK_UNDELIVERED, so that the scsi mid layer marks the
957                  * target as down.
958                  *
959                  * Aborting also means an external thread is explicitly managing
960                  * this request, so that we do not complete it up the stack.
961                  */
962                 request->complete_in_target = true;
963                 response = SAS_TASK_UNDELIVERED;
964
965                 if ((isci_device->status == isci_stopping) ||
966                     (isci_device->status == isci_stopped))
967                         /* The device has been /is being stopped. Note that
968                          * we ignore the quiesce state, since we are
969                          * concerned about the actual device state.
970                          */
971                         status = SAS_DEVICE_UNKNOWN;
972                 else
973                         status = SAS_PHY_DOWN;
974
975                 complete_to_host = isci_perform_aborted_io_completion;
976
977                 /* This was an aborted request. */
978
979                 spin_unlock(&request->state_lock);
980                 break;
981
982         case terminating:
983
984                 /* This was an terminated request.  This happens when
985                  * the I/O is being terminated because of an action on
986                  * the device (reset, tear down, etc.), and the I/O needs
987                  * to be completed up the stack.
988                  */
989                 request->complete_in_target = true;
990                 response = SAS_TASK_UNDELIVERED;
991
992                 /* See if the device has been/is being stopped. Note
993                  * that we ignore the quiesce state, since we are
994                  * concerned about the actual device state.
995                  */
996                 if ((isci_device->status == isci_stopping) ||
997                     (isci_device->status == isci_stopped))
998                         status = SAS_DEVICE_UNKNOWN;
999                 else
1000                         status = SAS_ABORTED_TASK;
1001
1002                 complete_to_host = isci_perform_aborted_io_completion;
1003
1004                 /* This was a terminated request. */
1005
1006                 spin_unlock(&request->state_lock);
1007                 break;
1008
1009         default:
1010
1011                 /* The request is done from an SCU HW perspective. */
1012                 request->status = completed;
1013
1014                 spin_unlock(&request->state_lock);
1015
1016                 /* This is an active request being completed from the core. */
1017                 switch (completion_status) {
1018
1019                 case SCI_IO_FAILURE_RESPONSE_VALID:
1020                         dev_dbg(&isci_host->pdev->dev,
1021                                 "%s: SCI_IO_FAILURE_RESPONSE_VALID (%p/%p)\n",
1022                                 __func__,
1023                                 request,
1024                                 task);
1025
1026                         if (sas_protocol_ata(task->task_proto)) {
1027                                 resp_buf
1028                                         = scic_stp_io_request_get_d2h_reg_address(
1029                                         request->sci_request_handle
1030                                         );
1031                                 isci_request_process_stp_response(task,
1032                                                                   resp_buf
1033                                                                   );
1034
1035                         } else if (SAS_PROTOCOL_SSP == task->task_proto) {
1036
1037                                 /* crack the iu response buffer. */
1038                                 resp_iu
1039                                         = scic_io_request_get_response_iu_address(
1040                                         request->sci_request_handle
1041                                         );
1042
1043                                 isci_request_process_response_iu(task, resp_iu,
1044                                                                  &isci_host->pdev->dev
1045                                                                  );
1046
1047                         } else if (SAS_PROTOCOL_SMP == task->task_proto) {
1048
1049                                 dev_err(&isci_host->pdev->dev,
1050                                         "%s: SCI_IO_FAILURE_RESPONSE_VALID: "
1051                                         "SAS_PROTOCOL_SMP protocol\n",
1052                                         __func__);
1053
1054                         } else
1055                                 dev_err(&isci_host->pdev->dev,
1056                                         "%s: unknown protocol\n", __func__);
1057
1058                         /* use the task status set in the task struct by the
1059                          * isci_request_process_response_iu call.
1060                          */
1061                         request->complete_in_target = true;
1062                         response = task->task_status.resp;
1063                         status = task->task_status.stat;
1064                         break;
1065
1066                 case SCI_IO_SUCCESS:
1067                 case SCI_IO_SUCCESS_IO_DONE_EARLY:
1068
1069                         response = SAS_TASK_COMPLETE;
1070                         status   = SAM_STAT_GOOD;
1071                         request->complete_in_target = true;
1072
1073                         if (task->task_proto == SAS_PROTOCOL_SMP) {
1074
1075                                 u8 *command_iu_address
1076                                         = scic_io_request_get_command_iu_address(
1077                                         request->sci_request_handle
1078                                         );
1079
1080                                 dev_dbg(&isci_host->pdev->dev,
1081                                         "%s: SMP protocol completion\n",
1082                                         __func__);
1083
1084                                 sg_copy_from_buffer(
1085                                         &task->smp_task.smp_resp, 1,
1086                                         command_iu_address
1087                                         + sizeof(struct smp_request),
1088                                         sizeof(struct smp_resp)
1089                                         );
1090                         } else if (completion_status
1091                                    == SCI_IO_SUCCESS_IO_DONE_EARLY) {
1092
1093                                 /* This was an SSP / STP / SATA transfer.
1094                                  * There is a possibility that less data than
1095                                  * the maximum was transferred.
1096                                  */
1097                                 u32 transferred_length
1098                                         = scic_io_request_get_number_of_bytes_transferred(
1099                                         request->sci_request_handle);
1100
1101                                 task->task_status.residual
1102                                         = task->total_xfer_len - transferred_length;
1103
1104                                 /* If there were residual bytes, call this an
1105                                  * underrun.
1106                                  */
1107                                 if (task->task_status.residual != 0)
1108                                         status = SAS_DATA_UNDERRUN;
1109
1110                                 dev_dbg(&isci_host->pdev->dev,
1111                                         "%s: SCI_IO_SUCCESS_IO_DONE_EARLY %d\n",
1112                                         __func__,
1113                                         status);
1114
1115                         } else
1116                                 dev_dbg(&isci_host->pdev->dev,
1117                                         "%s: SCI_IO_SUCCESS\n",
1118                                         __func__);
1119
1120                         break;
1121
1122                 case SCI_IO_FAILURE_TERMINATED:
1123                         dev_dbg(&isci_host->pdev->dev,
1124                                 "%s: SCI_IO_FAILURE_TERMINATED (%p/%p)\n",
1125                                 __func__,
1126                                 request,
1127                                 task);
1128
1129                         /* The request was terminated explicitly.  No handling
1130                          * is needed in the SCSI error handler path.
1131                          */
1132                         request->complete_in_target = true;
1133                         response = SAS_TASK_UNDELIVERED;
1134
1135                         /* See if the device has been/is being stopped. Note
1136                          * that we ignore the quiesce state, since we are
1137                          * concerned about the actual device state.
1138                          */
1139                         if ((isci_device->status == isci_stopping) ||
1140                             (isci_device->status == isci_stopped))
1141                                 status = SAS_DEVICE_UNKNOWN;
1142                         else
1143                                 status = SAS_ABORTED_TASK;
1144
1145                         complete_to_host = isci_perform_normal_io_completion;
1146                         break;
1147
1148                 case SCI_FAILURE_CONTROLLER_SPECIFIC_IO_ERR:
1149
1150                         isci_request_handle_controller_specific_errors(
1151                                 isci_device, request, task, &response, &status,
1152                                 &complete_to_host);
1153
1154                         break;
1155
1156                 case SCI_IO_FAILURE_REMOTE_DEVICE_RESET_REQUIRED:
1157                         /* This is a special case, in that the I/O completion
1158                          * is telling us that the device needs a reset.
1159                          * In order for the device reset condition to be
1160                          * noticed, the I/O has to be handled in the error
1161                          * handler.  Set the reset flag and cause the
1162                          * SCSI error thread to be scheduled.
1163                          */
1164                         spin_lock_irqsave(&task->task_state_lock, task_flags);
1165                         task->task_state_flags |= SAS_TASK_NEED_DEV_RESET;
1166                         spin_unlock_irqrestore(&task->task_state_lock, task_flags);
1167
1168                         /* Fail the I/O. */
1169                         response = SAS_TASK_UNDELIVERED;
1170                         status = SAM_STAT_TASK_ABORTED;
1171
1172                         complete_to_host = isci_perform_error_io_completion;
1173                         request->complete_in_target = false;
1174                         break;
1175
1176                 default:
1177                         /* Catch any otherwise unhandled error codes here. */
1178                         dev_warn(&isci_host->pdev->dev,
1179                                  "%s: invalid completion code: 0x%x - "
1180                                  "isci_request = %p\n",
1181                                  __func__, completion_status, request);
1182
1183                         response = SAS_TASK_UNDELIVERED;
1184
1185                         /* See if the device has been/is being stopped. Note
1186                          * that we ignore the quiesce state, since we are
1187                          * concerned about the actual device state.
1188                          */
1189                         if ((isci_device->status == isci_stopping) ||
1190                             (isci_device->status == isci_stopped))
1191                                 status = SAS_DEVICE_UNKNOWN;
1192                         else
1193                                 status = SAS_ABORTED_TASK;
1194
1195                         complete_to_host = isci_perform_error_io_completion;
1196                         request->complete_in_target = false;
1197                         break;
1198                 }
1199                 break;
1200         }
1201
1202         isci_request_unmap_sgl(request, isci_host->pdev);
1203
1204         /* Put the completed request on the correct list */
1205         isci_task_save_for_upper_layer_completion(isci_host, request, response,
1206                                                   status, complete_to_host
1207                                                   );
1208
1209         /* complete the io request to the core. */
1210         scic_controller_complete_io(
1211                 isci_host->core_controller,
1212                 to_sci_dev(isci_device),
1213                 request->sci_request_handle
1214                 );
1215         /* NULL the request handle so it cannot be completed or
1216          * terminated again, and to cause any calls into abort
1217          * task to recognize the already completed case.
1218          */
1219         request->sci_request_handle = NULL;
1220
1221         isci_host_can_dequeue(isci_host, 1);
1222 }
1223
1224 /**
1225  * isci_request_io_request_get_transfer_length() - This function is called by
1226  *    the sci core to retrieve the transfer length for a given request.
1227  * @request: This parameter is the isci_request object.
1228  *
1229  * length of transfer for specified request.
1230  */
1231 u32 isci_request_io_request_get_transfer_length(struct isci_request *request)
1232 {
1233         struct sas_task *task = isci_request_access_task(request);
1234
1235         dev_dbg(&request->isci_host->pdev->dev,
1236                 "%s: total_xfer_len: %d\n",
1237                 __func__,
1238                 task->total_xfer_len);
1239         return task->total_xfer_len;
1240 }
1241
1242
1243 /**
1244  * isci_request_io_request_get_data_direction() - This function is called by
1245  *    the sci core to retrieve the data direction for a given request.
1246  * @request: This parameter is the isci_request object.
1247  *
1248  * data direction for specified request.
1249  */
1250 enum dma_data_direction isci_request_io_request_get_data_direction(
1251         struct isci_request *request)
1252 {
1253         struct sas_task *task = isci_request_access_task(request);
1254
1255         return task->data_dir;
1256 }
1257
1258 /**
1259  * isci_request_sge_get_address_field() - This function is called by the sci
1260  *    core to retrieve the address field contents for a given sge.
1261  * @request: This parameter is the isci_request object.
1262  * @sge_address: This parameter is the sge.
1263  *
1264  * physical address in the specified sge.
1265  */
1266
1267
1268 /**
1269  * isci_request_sge_get_length_field() - This function is called by the sci
1270  *    core to retrieve the length field contents for a given sge.
1271  * @request: This parameter is the isci_request object.
1272  * @sge_address: This parameter is the sge.
1273  *
1274  * length field value in the specified sge.
1275  */
1276
1277
1278 /**
1279  * isci_request_ssp_io_request_get_cdb_address() - This function is called by
1280  *    the sci core to retrieve the cdb address for a given request.
1281  * @request: This parameter is the isci_request object.
1282  *
1283  * cdb address for specified request.
1284  */
1285 void *isci_request_ssp_io_request_get_cdb_address(
1286         struct isci_request *request)
1287 {
1288         struct sas_task *task = isci_request_access_task(request);
1289
1290         dev_dbg(&request->isci_host->pdev->dev,
1291                 "%s: request->task->ssp_task.cdb = %p\n",
1292                 __func__,
1293                 task->ssp_task.cdb);
1294         return task->ssp_task.cdb;
1295 }
1296
1297
1298 /**
1299  * isci_request_ssp_io_request_get_cdb_length() - This function is called by
1300  *    the sci core to retrieve the cdb length for a given request.
1301  * @request: This parameter is the isci_request object.
1302  *
1303  * cdb length for specified request.
1304  */
1305 u32 isci_request_ssp_io_request_get_cdb_length(
1306         struct isci_request *request)
1307 {
1308         return 16;
1309 }
1310
1311
1312 /**
1313  * isci_request_ssp_io_request_get_lun() - This function is called by the sci
1314  *    core to retrieve the lun for a given request.
1315  * @request: This parameter is the isci_request object.
1316  *
1317  * lun for specified request.
1318  */
1319 u32 isci_request_ssp_io_request_get_lun(
1320         struct isci_request *request)
1321 {
1322         struct sas_task *task = isci_request_access_task(request);
1323
1324 #ifdef DEBUG
1325         int i;
1326
1327         for (i = 0; i < 8; i++)
1328                 dev_dbg(&request->isci_host->pdev->dev,
1329                         "%s: task->ssp_task.LUN[%d] = %x\n",
1330                         __func__, i, task->ssp_task.LUN[i]);
1331
1332 #endif
1333
1334         return task->ssp_task.LUN[0];
1335 }
1336
1337
1338 /**
1339  * isci_request_ssp_io_request_get_task_attribute() - This function is called
1340  *    by the sci core to retrieve the task attribute for a given request.
1341  * @request: This parameter is the isci_request object.
1342  *
1343  * task attribute for specified request.
1344  */
1345 u32 isci_request_ssp_io_request_get_task_attribute(
1346         struct isci_request *request)
1347 {
1348         struct sas_task *task = isci_request_access_task(request);
1349
1350         dev_dbg(&request->isci_host->pdev->dev,
1351                 "%s: request->task->ssp_task.task_attr = %x\n",
1352                 __func__,
1353                 task->ssp_task.task_attr);
1354
1355         return task->ssp_task.task_attr;
1356 }
1357
1358
1359 /**
1360  * isci_request_ssp_io_request_get_command_priority() - This function is called
1361  *    by the sci core to retrieve the command priority for a given request.
1362  * @request: This parameter is the isci_request object.
1363  *
1364  * command priority for specified request.
1365  */
1366 u32 isci_request_ssp_io_request_get_command_priority(
1367         struct isci_request *request)
1368 {
1369         struct sas_task *task = isci_request_access_task(request);
1370
1371         dev_dbg(&request->isci_host->pdev->dev,
1372                 "%s: request->task->ssp_task.task_prio = %x\n",
1373                 __func__,
1374                 task->ssp_task.task_prio);
1375
1376         return task->ssp_task.task_prio;
1377 }