x86/kvm/fpu.h

0001 /* SPDX-License-Identifier: GPL-2.0 */
0002
0003 #ifndef __KVM_FPU_H_
0004 #define __KVM_FPU_H_
0005
0006 #include <asm/fpu/api.h>
0007
0008 typedef u32     __attribute__((vector_size(16))) sse128_t;
0009 #define __sse128_u  union { sse128_t vec; u64 as_u64[2]; u32 as_u32[4]; }
0010 #define sse128_lo(x)    ({ __sse128_u t; t.vec = x; t.as_u64[0]; })
0011 #define sse128_hi(x)    ({ __sse128_u t; t.vec = x; t.as_u64[1]; })
0012 #define sse128_l0(x)    ({ __sse128_u t; t.vec = x; t.as_u32[0]; })
0013 #define sse128_l1(x)    ({ __sse128_u t; t.vec = x; t.as_u32[1]; })
0014 #define sse128_l2(x)    ({ __sse128_u t; t.vec = x; t.as_u32[2]; })
0015 #define sse128_l3(x)    ({ __sse128_u t; t.vec = x; t.as_u32[3]; })
0016 #define sse128(lo, hi)  ({ __sse128_u t; t.as_u64[0] = lo; t.as_u64[1] = hi; t.vec; })
0017
0018 static inline void _kvm_read_sse_reg(int reg, sse128_t *data)
0019 {
0020     switch (reg) {
0021     case 0: asm("movdqa %%xmm0, %0" : "=m"(*data)); break;
0022     case 1: asm("movdqa %%xmm1, %0" : "=m"(*data)); break;
0023     case 2: asm("movdqa %%xmm2, %0" : "=m"(*data)); break;
0024     case 3: asm("movdqa %%xmm3, %0" : "=m"(*data)); break;
0025     case 4: asm("movdqa %%xmm4, %0" : "=m"(*data)); break;
0026     case 5: asm("movdqa %%xmm5, %0" : "=m"(*data)); break;
0027     case 6: asm("movdqa %%xmm6, %0" : "=m"(*data)); break;
0028     case 7: asm("movdqa %%xmm7, %0" : "=m"(*data)); break;
0029 #ifdef CONFIG_X86_64
0030     case 8: asm("movdqa %%xmm8, %0" : "=m"(*data)); break;
0031     case 9: asm("movdqa %%xmm9, %0" : "=m"(*data)); break;
0032     case 10: asm("movdqa %%xmm10, %0" : "=m"(*data)); break;
0033     case 11: asm("movdqa %%xmm11, %0" : "=m"(*data)); break;
0034     case 12: asm("movdqa %%xmm12, %0" : "=m"(*data)); break;
0035     case 13: asm("movdqa %%xmm13, %0" : "=m"(*data)); break;
0036     case 14: asm("movdqa %%xmm14, %0" : "=m"(*data)); break;
0037     case 15: asm("movdqa %%xmm15, %0" : "=m"(*data)); break;
0038 #endif
0039     default: BUG();
0040     }
0041 }
0042
0043 static inline void _kvm_write_sse_reg(int reg, const sse128_t *data)
0044 {
0045     switch (reg) {
0046     case 0: asm("movdqa %0, %%xmm0" : : "m"(*data)); break;
0047     case 1: asm("movdqa %0, %%xmm1" : : "m"(*data)); break;
0048     case 2: asm("movdqa %0, %%xmm2" : : "m"(*data)); break;
0049     case 3: asm("movdqa %0, %%xmm3" : : "m"(*data)); break;
0050     case 4: asm("movdqa %0, %%xmm4" : : "m"(*data)); break;
0051     case 5: asm("movdqa %0, %%xmm5" : : "m"(*data)); break;
0052     case 6: asm("movdqa %0, %%xmm6" : : "m"(*data)); break;
0053     case 7: asm("movdqa %0, %%xmm7" : : "m"(*data)); break;
0054 #ifdef CONFIG_X86_64
0055     case 8: asm("movdqa %0, %%xmm8" : : "m"(*data)); break;
0056     case 9: asm("movdqa %0, %%xmm9" : : "m"(*data)); break;
0057     case 10: asm("movdqa %0, %%xmm10" : : "m"(*data)); break;
0058     case 11: asm("movdqa %0, %%xmm11" : : "m"(*data)); break;
0059     case 12: asm("movdqa %0, %%xmm12" : : "m"(*data)); break;
0060     case 13: asm("movdqa %0, %%xmm13" : : "m"(*data)); break;
0061     case 14: asm("movdqa %0, %%xmm14" : : "m"(*data)); break;
0062     case 15: asm("movdqa %0, %%xmm15" : : "m"(*data)); break;
0063 #endif
0064     default: BUG();
0065     }
0066 }
0067
0068 static inline void _kvm_read_mmx_reg(int reg, u64 *data)
0069 {
0070     switch (reg) {
0071     case 0: asm("movq %%mm0, %0" : "=m"(*data)); break;
0072     case 1: asm("movq %%mm1, %0" : "=m"(*data)); break;
0073     case 2: asm("movq %%mm2, %0" : "=m"(*data)); break;
0074     case 3: asm("movq %%mm3, %0" : "=m"(*data)); break;
0075     case 4: asm("movq %%mm4, %0" : "=m"(*data)); break;
0076     case 5: asm("movq %%mm5, %0" : "=m"(*data)); break;
0077     case 6: asm("movq %%mm6, %0" : "=m"(*data)); break;
0078     case 7: asm("movq %%mm7, %0" : "=m"(*data)); break;
0079     default: BUG();
0080     }
0081 }
0082
0083 static inline void _kvm_write_mmx_reg(int reg, const u64 *data)
0084 {
0085     switch (reg) {
0086     case 0: asm("movq %0, %%mm0" : : "m"(*data)); break;
0087     case 1: asm("movq %0, %%mm1" : : "m"(*data)); break;
0088     case 2: asm("movq %0, %%mm2" : : "m"(*data)); break;
0089     case 3: asm("movq %0, %%mm3" : : "m"(*data)); break;
0090     case 4: asm("movq %0, %%mm4" : : "m"(*data)); break;
0091     case 5: asm("movq %0, %%mm5" : : "m"(*data)); break;
0092     case 6: asm("movq %0, %%mm6" : : "m"(*data)); break;
0093     case 7: asm("movq %0, %%mm7" : : "m"(*data)); break;
0094     default: BUG();
0095     }
0096 }
0097
0098 static inline void kvm_fpu_get(void)
0099 {
0100     fpregs_lock();
0101
0102     fpregs_assert_state_consistent();
0103     if (test_thread_flag(TIF_NEED_FPU_LOAD))
0104         switch_fpu_return();
0105 }
0106
0107 static inline void kvm_fpu_put(void)
0108 {
0109     fpregs_unlock();
0110 }
0111
0112 static inline void kvm_read_sse_reg(int reg, sse128_t *data)
0113 {
0114     kvm_fpu_get();
0115     _kvm_read_sse_reg(reg, data);
0116     kvm_fpu_put();
0117 }
0118
0119 static inline void kvm_write_sse_reg(int reg, const sse128_t *data)
0120 {
0121     kvm_fpu_get();
0122     _kvm_write_sse_reg(reg, data);
0123     kvm_fpu_put();
0124 }
0125
0126 static inline void kvm_read_mmx_reg(int reg, u64 *data)
0127 {
0128     kvm_fpu_get();
0129     _kvm_read_mmx_reg(reg, data);
0130     kvm_fpu_put();
0131 }
0132
0133 static inline void kvm_write_mmx_reg(int reg, const u64 *data)
0134 {
0135     kvm_fpu_get();
0136     _kvm_write_mmx_reg(reg, data);
0137     kvm_fpu_put();
0138 }
0139
0140 #endif