arch/x86/xen/pci-swiotlb-xen.c

   1 /* Glue code to lib/swiotlb-xen.c */
   2
   3 #include <linux/dma-mapping.h>
   4 #include <linux/pci.h>
   5 #include <xen/swiotlb-xen.h>
   6
   7 #include <asm/xen/hypervisor.h>
   8 #include <xen/xen.h>
   9 #include <asm/iommu_table.h>
  10
  11 #ifdef CONFIG_X86_64
  12 #include <asm/iommu.h>
  13 #include <asm/dma.h>
  14 #endif
  15 #include <linux/export.h>
  16 int xen_swiotlb __read_mostly;
  17
  18 static struct dma_map_ops xen_swiotlb_dma_ops = {
  19         .mapping_error = xen_swiotlb_dma_mapping_error,
  20         .alloc = xen_swiotlb_alloc_coherent,
  21         .free = xen_swiotlb_free_coherent,
  22         .sync_single_for_cpu = xen_swiotlb_sync_single_for_cpu,
  23         .sync_single_for_device = xen_swiotlb_sync_single_for_device,
  24         .sync_sg_for_cpu = xen_swiotlb_sync_sg_for_cpu,
  25         .sync_sg_for_device = xen_swiotlb_sync_sg_for_device,
  26         .map_sg = xen_swiotlb_map_sg_attrs,
  27         .unmap_sg = xen_swiotlb_unmap_sg_attrs,
  28         .map_page = xen_swiotlb_map_page,
  29         .unmap_page = xen_swiotlb_unmap_page,
  30         .dma_supported = xen_swiotlb_dma_supported,
  31 };
  32
  33 /*
  34  * pci_xen_swiotlb_detect - set xen_swiotlb to 1 if necessary
  35  *
  36  * This returns non-zero if we are forced to use xen_swiotlb (by the boot
  37  * option).
  38  */
  39 int __init pci_xen_swiotlb_detect(void)
  40 {
  41
  42         if (!xen_pv_domain())
  43                 return 0;
  44
  45         /* If running as PV guest, either iommu=soft, or swiotlb=force will
  46          * activate this IOMMU. If running as PV privileged, activate it
  47          * irregardless.
  48          */
  49         if ((xen_initial_domain() || swiotlb || swiotlb_force))
  50                 xen_swiotlb = 1;
  51
  52         /* If we are running under Xen, we MUST disable the native SWIOTLB.
  53          * Don't worry about swiotlb_force flag activating the native, as
  54          * the 'swiotlb' flag is the only one turning it on. */
  55         swiotlb = 0;
  56
  57 #ifdef CONFIG_X86_64
  58         /* pci_swiotlb_detect_4gb turns on native SWIOTLB if no_iommu == 0
  59          * (so no iommu=X command line over-writes).
  60          * Considering that PV guests do not want the *native SWIOTLB* but
  61          * only Xen SWIOTLB it is not useful to us so set no_iommu=1 here.
  62          */
  63         if (max_pfn > MAX_DMA32_PFN)
  64                 no_iommu = 1;
  65 #endif
  66         return xen_swiotlb;
  67 }
  68
  69 void __init pci_xen_swiotlb_init(void)
  70 {
  71         if (xen_swiotlb) {
  72                 xen_swiotlb_init(1, true /* early */);
  73                 dma_ops = &xen_swiotlb_dma_ops;
  74
  75                 /* Make sure ACS will be enabled */
  76                 pci_request_acs();
  77         }
  78 }
  79
  80 int pci_xen_swiotlb_init_late(void)
  81 {
  82         int rc;
  83
  84         if (xen_swiotlb)
  85                 return 0;
  86
  87         rc = xen_swiotlb_init(1, false /* late */);
  88         if (rc)
  89                 return rc;
  90
  91         dma_ops = &xen_swiotlb_dma_ops;
  92         /* Make sure ACS will be enabled */
  93         pci_request_acs();
  94
  95         return 0;
  96 }
  97 EXPORT_SYMBOL_GPL(pci_xen_swiotlb_init_late);
  98
  99 IOMMU_INIT_FINISH(pci_xen_swiotlb_detect,
 100                   NULL,
 101                   pci_xen_swiotlb_init,
 102                   NULL);