sparc/lib/NG4copy_page.S

0001 /* SPDX-License-Identifier: GPL-2.0 */
0002 /* NG4copy_page.S: Niagara-4 optimized copy page.
0003  *
0004  * Copyright (C) 2012 (davem@davemloft.net)
0005  */
0006
0007 #include <asm/asi.h>
0008 #include <asm/page.h>
0009
0010     .text
0011     .align      32
0012
0013     .register   %g2, #scratch
0014     .register   %g3, #scratch
0015
0016     .globl      NG4copy_user_page
0017 NG4copy_user_page:  /* %o0=dest, %o1=src, %o2=vaddr */
0018     prefetch    [%o1 + 0x000], #n_reads_strong
0019     prefetch    [%o1 + 0x040], #n_reads_strong
0020     prefetch    [%o1 + 0x080], #n_reads_strong
0021     prefetch    [%o1 + 0x0c0], #n_reads_strong
0022     set     PAGE_SIZE, %g7
0023     prefetch    [%o1 + 0x100], #n_reads_strong
0024     prefetch    [%o1 + 0x140], #n_reads_strong
0025     prefetch    [%o1 + 0x180], #n_reads_strong
0026     prefetch    [%o1 + 0x1c0], #n_reads_strong
0027 1:
0028     ldx     [%o1 + 0x00], %o2
0029     subcc       %g7, 0x40, %g7
0030     ldx     [%o1 + 0x08], %o3
0031     ldx     [%o1 + 0x10], %o4
0032     ldx     [%o1 + 0x18], %o5
0033     ldx     [%o1 + 0x20], %g1
0034     stxa        %o2, [%o0] ASI_ST_BLKINIT_MRU_P
0035     add     %o0, 0x08, %o0
0036     ldx     [%o1 + 0x28], %g2
0037     stxa        %o3, [%o0] ASI_ST_BLKINIT_MRU_P
0038     add     %o0, 0x08, %o0
0039     ldx     [%o1 + 0x30], %g3
0040     stxa        %o4, [%o0] ASI_ST_BLKINIT_MRU_P
0041     add     %o0, 0x08, %o0
0042     ldx     [%o1 + 0x38], %o2
0043     add     %o1, 0x40, %o1
0044     stxa        %o5, [%o0] ASI_ST_BLKINIT_MRU_P
0045     add     %o0, 0x08, %o0
0046     stxa        %g1, [%o0] ASI_ST_BLKINIT_MRU_P
0047     add     %o0, 0x08, %o0
0048     stxa        %g2, [%o0] ASI_ST_BLKINIT_MRU_P
0049     add     %o0, 0x08, %o0
0050     stxa        %g3, [%o0] ASI_ST_BLKINIT_MRU_P
0051     add     %o0, 0x08, %o0
0052     stxa        %o2, [%o0] ASI_ST_BLKINIT_MRU_P
0053     add     %o0, 0x08, %o0
0054     bne,pt      %icc, 1b
0055      prefetch   [%o1 + 0x200], #n_reads_strong
0056     retl
0057      membar     #StoreLoad | #StoreStore
0058     .size       NG4copy_user_page,.-NG4copy_user_page