Native ONNX Inference Pool
Egy korlátozott méretű medence, amely párhuzamosan futtatja a neurális hálózatot a BEAM virtuális gépen. A kérések ebből a medencéből kapnak helyet, futnak, majd visszaadják az eredményüket.
A BEAM kiváló a párhuzamos kezelésre, de egy ONNX modell futtatása blokkolhatja a szálat. A pool biztosítja, hogy egyszerre 10 inference fusson, a többi kérés pedig várakozik sorban. A telemetria figyeli a várakozási időt és a sor mélységét.