Om du är på ICML och intresserad av verifierbar inferens, se till att stanna till vid vår affisch! Vi kommer att presentera TOPLOC, en effektiv aktiveringshashmetod som fungerar över en mängd olika inställningar, t.ex. switchinginferensinställningar eller till och med modeller. 16 juli, 16:30, E-1106
Här är den ursprungliga tråden om TOPLOC som förklarar idéerna bakom det:
Prime Intellect
Prime Intellect29 jan. 2025
Today, we release TOPLOC: A Locality Sensitive Hashing Scheme for Verifiable Inference - Detects modifications to models, prompts, or precision - Robust across GPU types, tensor parallel configurations and attention kernels - Up to 100× faster validation than generation - Reduces memory overhead of proofs by 1000× Building the foundation for decentralized, verifiable compute protocols.
536