BelumindScience
envi
Kỹ thuật

Bài toán khó, lời giải chạy được

Nhìn sâu vào các hệ thống chúng tôi thiết kế và xây dựng — bài toán đặt ra, cách chúng tôi ghép nên lời giải, và điều giúp nó đứng vững khi dùng thật.

3 bài viết

Bài mới nhất

Mới nhất
12 phút đọc

denseflux · Độ thưa kích hoạt

denseflux: Bỏ qua phần lớn FFN của một LLM dense trên Apple Silicon

Độ thưa kích hoạt, một kernel Metal, và những gì không hiệu quả trên đường đi. Trên ProSparse-Llama-2-7B mỗi token chỉ có 11,2% neuron FFN hoạt động; bỏ qua phần còn lại làm perplexity tăng +0,44% và giúp FFN nhanh hơn khoảng 2,05× trên M4 Pro. Mô hình SwiGLU, cụm cố định và bộ dự đoán rẻ đều không mang lại lợi ích.

11,2%
neuron FFN hoạt động mỗi token trên ProSparse-Llama-2-7B
2,05×
FFN nhanh hơn với gating chính xác
+0,44%
perplexity tăng khi bỏ qua chúng
≈ 60%
neuron hoạt động là điểm hòa vốn của kernel
Độ thưa kích hoạtKernel MetalApple Silicon
Đọc bài

Thêm từ Belumind Science

Các bài viết này đi cùng những sản phẩm sinh ra chúng và nghiên cứu đứng sau.

Xem sản phẩmĐọc nghiên cứu